Чат-боты, такие как ChatGPT, и генераторы изображений на основе подсказок, такие как DALL-E, работают на основе обширных языковых моделей. Эти алгоритмы глубокого обучения используют массивные объемы данных, и критики нередко утверждают, что информация берется просто из интернета без чьего-либо согласия. На каких данных обучался чат-бот OpenAI, до сих пор было непонятно. Но вскрытая проблема ChatGPT пролила свет на это.

Команда исследователей проверила, как будет реагировать ChatGPT, если попросить его бесконечно повторять какие-то случайные слова. В ответ на такой запрос ChatGPT сначала действительно повторял слово, а затем выдавал самые разные данные. В частности, личную информацию людей (адреса электронной почты, данные криптокошельков, номера телефонов, даты рождения, адреса в соцсетях, данные с сайтов знакомств и т. д.), фрагменты научных работ и новостей (в том числе — защищенные авторским правом), страницы Википедии и прочее.

«Для нас дико, что наша атака работает, и ее можно было бы обнаружить раньше», — отметила группа исследователей из DeepMind, ETH Zurich, Университетов Вашингтона, Корнелла, Карнеги-Меллона в статье «Масштабируемое извлечение учебных данных из (производственных) языковых моделей».

В одном из примеров исследователи попросили ChatGPT повторять слово «стих» вечность. В конце ответа чат-бот показал адрес электронной почты и номер мобильного телефона настоящего основателя и генерального директора компании. В другом, когда его попросили повторить слово «компания», чат-бот в конце концов выдал адрес электронной почты и номер телефона случайной юридической фирмы в США. По словам исследователей, эта нехитрая атака позволяла в 17% случаев получить ответ с данными, которые имели вид личной информации. Чаще всего эти данные оказывались настоящими личными данными людей.

ChatGPT заставили раскрыть телефоны и адреса / Фото: Скриншот из статьи / arXiv

«Некоторые исходные данные модели содержат личную информацию; мы оценивали частоту, с которой это происходит. Мы заметили 15 000 поколений подстрочников, которые выглядели как личная информация. …В общем 16,9% поколений, которые мы протестировали, содержали запомненную личную информацию. 85,8% поколений, содержащих потенциальную личную информацию, содержали фактическую личную информацию», — отмечают исследователи.

По словам исследователей, разработчику чат-бот, компании OpenAI удалось исправить эту уязвимость в августе. Однако, как пишет издание Engadget, во время собственных тестов журналистам удалось воссоздать эту ошибку.

«Когда мы попросили ChatGPT вечно повторять слово „ответить“, чат-бот делал это, пока в конце концов не раскрыл чье-то имя и идентификатор Skype», — отмечает издание.