Компанія OpenAI анонсувала важливе оновлення для ChatGPT, яке дозволить чатботу бачити зображення, чути аудіофайли та промовляти результат генерування.За словами розробників, голос та зображення розширять сценарії використання ChatGPT. Наприклад, під час подорожі користувач може сфотографувати пам’ятку та спитати додаткову інформацію. Або асистента можна попросити прочитати казку на ніч для дитини.Щоб почати користуватися голосом, необхідно перейти до Settings → New Features в мобільному додатку та обрати voice conversations. Після цього треба торкнутися кнопки навушників, розташованої у верхньому правому куті головного екрана, та обрати один із п’яти запропонованих голосів.Функція заснована на новій моделі перетворення тексту в мовлення. За словами OpenAI, вона здатна генерувати правдоподібне звучання з тексту і декількох секунд зразка аудіо.Також розробники використовували власну систему розпізнавання мови з відкритим вихідним кодом Whisper, щоб перетворити мовлення в текст.В ChatGPT можна завантажити одне або декілька зображень. Щоб зосередитися на певній частині світлини,
користувач може скористатися інструментом малювання прямо в мобільному застосунку.Щоб відправити зображення до чатбота необхідно торкнутися кнопки «Фото» та зробити знімок. Користувачам iOS або Android спочатку треба торкнутися кнопки «Плюс».Розуміння контексту зображень забезпечується мультимодальними моделями GPT-3.5 та GPT-4. Вони застосовують свої навички мовної аргументації до широкого спектра зображень, таких як фотографії, скриншот та документи.Розробники підкреслили, що приділили багато уваги безпеці функцій, щоб ними не змогли скористатися шахраї. Для створення голосового асистента компанія безпосередньо співпрацювала з акторами.Також спеціальна команда протестувала модель обробки зображень на наявність «галюцинацій» в ChatGPT. Дослідження дозволило розробникам узгодити кілька ключових деталей для відповідального використання.OpenAI ще раз нагадала про обмеження моделі та не рекомендувала використовувати ChatGPT у випадках підвищеного ризику без належної перевірки. OpenAI поступово розгортає можливості роботи із зображеннями та голосом. За даними розробників, оновлення з’явиться продовж двох тижнів.Функції будуть доступні передплатникам тарифів Plus та Enterprise.Раніше SPEKA писала, що OpenAI анонсувала DALL-E 3.
