OpenAI навчила ChatGPT бачити зображення та проговорювати текст
ChatGPT can now see, hear, and speak. Rolling out over next two weeks, Plus users will be able to have voice conversations with ChatGPT (iOS & Android) and to include images in conversations (all platforms). https://t.co/uNZjgbR5Bm pic.twitter.com/paG0hMshXb
— OpenAI (@OpenAI) September 25, 2023
За словами розробників, голос та зображення розширять сценарії використання ChatGPT. Наприклад, під час подорожі користувач може сфотографувати пам’ятку та спитати додаткову інформацію. Або асистента можна попросити прочитати казку на ніч для дитини.
Як увімкнути голосове введення у ChatGPT
Щоб почати користуватися голосом, необхідно перейти до Settings → New Features у мобільному застосунку та обрати voice conversations. Після цього треба торкнутися кнопки навушників, розташованої у верхньому правому куті головного екрана, та обрати один із п’яти запропонованих голосів.
Функція заснована на новій моделі перетворення тексту в мовлення. За словами OpenAI, вона здатна генерувати правдоподібне звучання з тексту і декількох секунд зразка аудіо.
Підписуйтеся на наші соцмережі
Також розробники використовували власну систему розпізнавання мови з відкритим вихідним кодом Whisper, щоб перетворити мовлення у текст.
Як завантажувати зображення у ChatGPT
У ChatGPT можна завантажити одне або декілька зображень. Щоб зосередитися на певній частині світлини, користувач може скористатися інструментом малювання прямо в мобільному застосунку.
Розуміння контексту зображень забезпечується мультимодальними моделями GPT-3.5 та GPT-4. Вони застосовують свої навички мовної аргументації до широкого спектра зображень, як-от фотографії, скриншот та документи.
Безпека голосових функцій та розпізнавання зображень у ChatGPT
Розробники наголосили, що приділили багато уваги безпеці функцій, щоб ними не змогли скористатися шахраї. Для створення голосового асистента компанія співпрацювала з акторами.
Також спеціальна команда протестувала модель оброблення зображень на наявність «галюцинацій» у ChatGPT. Дослідження дозволило розробникам узгодити кілька ключових деталей для відповідального використання.
OpenAI ще раз нагадала про обмеження моделі та не рекомендувала використовувати ChatGPT у випадках підвищеного ризику без належної перевірки.
Коли голосові функції та завантаження зображень з’являться у ChatGPT
OpenAI поступово розгортає можливості роботи із зображеннями та голосом. За даними розробників, оновлення з’явиться упродовж двох тижнів.
Функції будуть доступні для передплатників тарифів Plus та Enterprise.
Раніше SPEKA писала, що OpenAI анонсувала DALL-E 3.
