Майже як жива людина. ChatGPT тепер реагує на відео в реальному часі та розпізнає ваші емоції

Оновлена ​​модель, як стверджують в OpenAI, є набагато швидшою за попередню та має покращені можливості щодо обробки тексту, зображень та аудіо. Користувачі GPT-4o матимуть можливість використовувати візуальні дані різними способами: можна не тільки завантажувати документи або ділитися зображеннями з чат-ботом, а й наживо спілкуватися з ChatGPT за допомогою відео, використовуючи камеру свого пристрою. В цьому випадку застосунок може діяти як розумний голосовий помічник, відповідаючи на ваші запити в реальному часі та спостерігаючи за світом навколо вас. Ця модель буде безплатною для всіх користувачів, але власниками підписки матимуть більший ліміт взаємодій.

Нова модель вміє розпізнавати емоції користувачів (це продемонстрували, попросивши чат-бота заспокоїти когось перед публічним виступом) і взаємодіяти з користувачами, які перебивають її, поки вона відповідає на запит, та багато іншого.

Нові можливості OpenAI продемонструвала численними роликами, які, за твердженнями компанії, не було прискорено. Зокрема, компанія показала взаємодію користувача з собакою за допомогою голосового помічника. Також показано ролик, у якому чат-бот відгадує, що в приміщенні святкують день народження, лише побачивши певні атрибути за допомогою відеозв'язку. Крім цього, продемонстрували, що цю версію ChatGPT можна робити учасником вашого відеодзвінка з іншими учасниками, використовувати як перекладача в реальному часі або залучати до вивчення мов чи розв’язання задач з математики тощо. Наразі модель дозволяє ChatGPT працювати з 50 різними мовами.

GPT-4o отримала суттєво поліпшені розмовні навички. Вона має виразну інтонацію, може сміятися, шепотіти, співати. OpenAI продемонструвала приголомшливу взаємодію між двома штучними інтелектами, які заспівали разом.

Компанія наголошує, що звукові можливості GPT-4o створюють різноманітні нові ризики, тож голосові функції будуть впроваджуватися поступово і з обмеженнями.

«Сьогодні ми публічно запускаємо введення та виведення тексту та зображень. Протягом наступних тижнів і місяців ми працюватимемо над технічною інфраструктурою, зручністю використання через постнавчання та безпекою, необхідними для випуску інших модальностей. Наприклад, під час запуску аудіовиходи будуть обмежені вибором попередньо встановлених голосів і відповідатимуть нашим наявним правилам безпеки», — інформує компанія у своєму блозі.

Генеральний директор OpenAI Сем Альтман в X зазначив, що модель від початку є мультимодальною і може генерувати вміст або розуміти команди голосом, текстом або зображеннями. За його словами, розробники, які хочуть попрацювати з GPT-4o, матимуть доступ до API, який буде вдвічі дешевшим і вдвічі швидший, ніж API останньої моделі GPT-4 Turbo.

Випуск нової моделі, у якій суттєво покращили виконання функцій голосового помічника, відбувся на тлі оголошень про те, що Apple домовилася з OpenAI про впровадження функцій штучного інтелекту на iPhone. ChatGPT має бути інтегрований в iOS 18, яка очікується найближчими тижнями. У якому форматі - поки невідомо.