Компанія Google провела конференцію для розробників I/O 2024, на якій продемонструвала безліч ШІ-новинок.
Серед іншого, корпорація представила генератор відео Veo, нову версію алгоритму Imagen і розумного помічника Project Astra.
Також Google розповіла про інтеграцію моделі Gemini у свої продукти.
14 травня корпорація Google провела конференцію для розробників I/O 2024.
https://youtu.be/XEzRZ35urlk
За приблизно 110 хвилин, які тривав захід, техгігант згадав штучний інтелект 121 раз. Генеральний директор компанії Сундар Пічаї послався на цю цифру в завершенні презентації, заявивши, що корпорація виконала «важку роботу» з підрахунків.
Incrypted зробив огляд найважливіших ШІ-новинок з основної доповіді Google I/O 2024.
Пошук по відео через Google Lens
Раніше система давала змогу знаходити інформацію за текстом і зображеннями. Тепер інструмент пропонує можливість пошуку за відео.
Згідно з компанією, це заощадить час і позбавить від підбору правильних слів для опису будь-якої проблеми. Після аналізу ролика ШІ надасть огляд з інструкціями та ресурсами для вирішення завдань.
https://twitter.com/Google/status/1790440001156583712
Пошук за відео «скоро» стане доступним для тестувальників Search Labs англійською мовою в США. Пізніше компанія розширить технологію на інші регіони.
Функція «Запитайте фотографії»
Влітку компанія запустить ШІ-функцію «Запитайте фотографії» в Google Photos. Система використовує модель Gemini для вивчення бібліотеки зображень і надання відповідей на запитання користувача.
https://twitter.com/Google/status/1790428759700463632
Під час конференції Пічаї запитав алгоритм про номерний знак свого автомобіля. ШІ вивчив дані про місцезнаходження, кількість появ на фото за останні роки та іншу інформацію. У результаті він видав фактичне число і прикріпив фото, що підтверджує ці відомості.
Демонстрація функції «Запитайте фотографії» на конференції I/O 2024. Дані: Google.
За словами Пічаї, функція «Запитайте фотографії» також здатна допомогти «глибше вивчити свої спогади».
Про сімейство генеративних ШІ-моделей Gemini
Gemini в Gmail
Користувачі Gmail зможуть шукати, узагальнювати та складати електронні листи за допомогою алгоритму Gemini.
Технологія також дасть змогу виконувати складніші завдання.
Наприклад, ШІ допоможе опрацювати запит на повернення електронної комерції ― провести пошук у поштовій скриньці, знайти квитанцію і заповнити онлайн-форму.
Під час презентації компанія показала, як батько захотів дізнатися, що відбувається у школі дитини. Він попросив Gemini підсумувати всі останні електронні листи з навчального закладу.
Крім тексту, ця функція також здатна аналізувати вкладення, наприклад PDF-файли. Підсумкове резюме містить ключові моменти або дії.
Оновлення Gemini 1.5 Pro
Компанія оновила сімейство генеративних моделей штучного інтелекту Gemini. Тепер алгоритм може аналізувати довші документи, бази програмного коду, відео та аудіозаписи.
На конференції компанія оголосила про закритий попередній перегляд нової версії Gemini 1.5 Pro ― поточної флагманської моделі компанії, яка може приймати до 2 млн токенів. Це відповідає приблизно 1,4 млн слів, двом годинам відео або 22 годинам аудіо.
Нова версія алгоритму підтримує найбільший обсяг введення серед усіх комерційних моделей. Наступною в топі є нейромережа Claude 3 від Anthropic,
яка може обробляти 1 млн токенів.
Демонстрація оновленої версії алгоритму Gemini 1.5 Pro на конференції I/O 2024. Дані: Google.
Більш швидка модель Gemini 1.5 Flash
Компанія представила нову мультимодальну модель Gemini 1.5 Flash, оптимізовану для «вузьких, високочастотних завдань із малою затримкою». За даними Google, вона така ж потужна, як Gemini 1.5 Pro або інші алгоритми Gemini, але набагато швидша.
https://twitter.com/Google/status/1790432952767115432
Gemini 1.5 Flash може аналізувати аудіо, відео, зображення та текст, однак видавати лише останнє.
У корпорації заявили, що новий алгоритм підходить для завдань на кшталт підбиття підсумків, чат-додатків, створення субтитрів до роликів і картинок, а також вилучення даних з довгих документів і таблиць.
Приватний попередній перегляд стане доступний тільки через список очікування з експериментальним контекстним вікном у 2 мільйони токенів.
Gemini Live
Нова функція Gemini Live покликана зробити голосові діалоги зі ШІ більш «поглибленими» і природними.
Система адаптуватиметься до мовних моделей і пропонуватиме коротші розмовні відповіді.
Під час бесіди користувачі зможуть переривати ШІ на півслові або попросити його подивитися через камеру смартфона і надавати інформацію про те, що відбувається, в режимі реального часу.
Gemini також отримала нові інтеграції, що дають змогу моделі оновлювати або витягувати інформацію з Google Calendar, Tasks і Keep. Для цього алгоритм використає мультимодальні функції, наприклад, додасть подробиць з рекламного флаєра в особистий календар.
Демонстрація функції Gemini Live на конференції I/O 2024. Дані: Google.
Gemini Nano
Компанія інтегрувала ШІ-алгоритм Gemini Nano ― найменшу зі своїх моделей штучного інтелекту ― у настільний клієнт Chrome.
Вбудований помічник дасть змогу робити огляди продуктів, створювати публікації для соцмереж та інші рекламні оголошення безпосередньо в браузері.
Компанія також заявила, що додасть Gemini в Chrome DevTools, який розробники використовують для налагодження та налаштування додатків. ШІ зможе пояснити повідомлення про помилки, а також надасть пропозиції щодо усунення проблем з написанням програмного коду.
Gemini Nano додадуть у браузер,
починаючи з версії Chrome 126.
Gemini на Android
Компанія заявила, що незабаром Gemini зможе краще розуміти те, що відбувається на екрані пристрою.
Якщо встановити технологію як помічника за замовчуванням на смартфоні, ШІ дасть змогу підбити підсумки або відповість на запитання про веб-сторінку або знімок екрана.
Пізніше Gemini зможе визначати наявність відео на екрані і пропонувати ставити запитання про нього. Модель згенерує автоматичні субтитри до ролика для пошуку відповідей.
Gemini дає відповіді на запитання щодо відео (ліворуч) і надає інформацію про піклбол (праворуч). Дані: Google.
Для платних користувачів Gemini Advanced ШІ запропонує обробку PDF-файлів.
Також Google анонсував функцію на базі штучного інтелекту, що дає змогу визначати шахраїв під час дзвінків.
Технологія використовує модель Gemini Nano для виявлення скам-лексики та інших шаблонів розмови, зазвичай пов'язаних із махінаціями.
Приклад повідомлення, яке отримає користувач у разі виявлення підозрілого дзвінка. Дані: Google.
Ці та інші мультимодальні оновлення для Gemini з'являться на Android найближчими місяцями.
Оновлений ШІ в Google Search
Корпорація запустила «Огляди ШІ» для користувачів зі США. Пізніше вони з'являться і в інших країнах.
«Спеціалізована» модель Gemini створюватиме і заповнюватиме сторінки результатів узагальненими відповідями з інтернету.
https://youtu.be/s4InWsd-J6g
Також компанія планує задіяти Gemini як агента для завдань на кшталт планування поїздок.
Нова версія генератора зображень Imagen 3
Google представила нову версію генератора зображень за текстом Imagen 3.
Демонстрація генератора Imagen 3. Дані: Google.
Глава ШІ-лабораторії DeepMind Деміс Хассабіс заявив, що алгоритм краще розуміє текстові підказки, порівняно з попередньою версією, і більш «творчо і детально» підходить до створення картинок. Також модель генерує менше «відволікаючих артефактів» і помилок, додав він.
«Це наша найкраща модель для рендерингу тексту, що було складним завданням для генераторів зображення», ― додав Хассабіс.
Щоб уникнути створення діпфейків компанія використовує технологію SynthID. Це розроблений DeepMind підхід із нанесення невидимих криптографічних водяних знаків на медіафайли.
Демонстрація технології SynthID. Дані: Google.
Доступ до Imagen 3 можна отримати в режимі приватного попереднього перегляду в інструменті Google ImageFX.
Згідно з компанією, модель також «скоро з'явиться» для розробників і корпоративних клієнтів, які використовують платформу Vertex AI.
Генератор відео Veo
Google також представила свою відповідь на ШІ-модель Sora від OpenAI.
Компанія анонсувала генеративний інструмент Veo. Він здатний створювати «високоякісні» ролики з роздільною здатністю 1080p тривалістю понад хвилину в різних візуальних і кінематографічних стилях.
Згідно з прес-релізом, система має «просунуте розуміння природної мови» для усвідомлення значень термінів на кшталт «таймлапс» або «аерофотозйомка пейзажу».
Користувачі можуть «направляти» бажаний результат за допомогою текстових підказок, зображень або відео. У компанії зазначили, що ролики виходять «більш послідовні та зв'язні», що зображують реалістичні рухи людей, тварин і об'єктів протягом усього кадру.
Відео, згенероване за допомогою Veo. Дані: Google.
Згідно з Google, компанія запросила обраних кінематографістів і авторів для тестування Veo.
Також деякі функції генератора стануть доступні «обраним авторам найближчими тижнями» у закритому попередньому перегляді у VideoFX.
Творець чат-ботів Gems
Функція Gems дає змогу створювати кастомні версії чат-ботів на базі Gemini з різними характерами.
https://twitter.com/Google/status/1790444941451067901
Користувачеві необхідно надати інструкції ШІ щодо налаштування на кшталт спеціалізації та реакцій на певні дії.
У Google заявили, що за допомогою Gems можна створити «компаньйона» по спортзалу, асистента шеф-кухаря, партнера з програмування або тренера з творчого письма.
Project Astra
Це мультимодальний ШІ-помічник, що працює в режимі реального часу.
Компанія сподівається, що він стане універсальним віртуальним асистентом, здатним через камеру пристрою бачити світ, розуміти, що відбувається, запам'ятовувати розташування речей і відповідати на запитання.
https://youtu.be/nXVvvRhiGjI
Нагадаємо, 13 травня лабораторія OpenAI також провела конференцію, де представила поліпшену версію GPT-4 ― «омнімодель» GPT-4o.
