Черное зеркало в реальной жизни. ChatGPT без разрешения имитирует голоса своих пользователей

На прошлой неделе OpenAI выпустила «системную карту» для новой модели искусственного интеллекта GPT-4o от ChatGPT, в которой подробно описаны ограничения модели и процедуры тестирования безопасности. В разделе системной карты GPT-4o под названием «Несанкционированная генерация голоса» OpenAI подробно описала эпизод, когда голосовой ввод каким-то образом побудил модель внезапно имитировать голос пользователя.

«Генерация голоса может происходить и в неконфронтационных ситуациях, например, когда мы использовали эту возможность для генерации голоса для расширенного голосового режима ChatGPT. Во время тестирования мы также наблюдали редкие случаи, когда модель непреднамеренно генерировала выходные данные, имитирующие голос пользователя», — пишет OpenAI.

В примере непреднамеренной генерации голоса, предоставленном OpenAI, ИИ-модель восклицает «Hi!» и продолжает предложение голосом, похожим на голос тестировщика.

Безусловно, было бы жутко разговаривать с машиной и слышать ответ своим голосом. У OpenAI есть предохранители, чтобы предотвратить такое развитие событий. Для создания голоса GPT-4o, очевидно, может синтезировать почти любой тип звука, найденный в учебных данных. Но OpenAI управляет этой возможностью, предоставляя авторизованный образец голоса (нанятого актера), который ему поручено имитировать.

Скандал с GPT-4o от ChatGPT — при чем тут Скарлетт Йоханссон

Во время презентации новой модели ИИ GPT-4o, на базе которой работает чат-бот OpenAI ChatGPT, компания объявила, что разговорные навыки помощника с ИИ были существенно улучшены. В частности, была продемонстрирована версия озвучки Sky, которая после обновления показалась многим слишком похожей на актрису Скарлетт Йоханссон, уже озвучившую похожую систему в ленте Она, повествующей о любви между мужчиной и ИИ.

Актриса заявила, что гендиректор OpenAI Сэм Альтман, который является поклонником ленты, предлагал ей присоединиться к озвучиванию чат-бота, но получил отказ. Через юридического консультанта она требовала от OpenAI объяснений. OpenAI на фоне скандала закрыла доступ к голосу Sky.