ChatGPT не уверен, чей Крым. Можем ли мы доверять искусственному интеллекту?

ChatGPT — лжец. Однако поймать его на лжи не так просто

Я тестирую ChatGPT уже несколько месяцев и уверен на 100% — мы недооцениваем его возможность лгать нам.

Конечно, речь идет не о лжи в человеческом смысле этого слова. Искусственный интеллект не понимает смысла того, что он пишет. Он видит ваш запрос, перебирает ключевые слова, связанные с ним, а затем начинает генерировать каждое следующее слово, предполагая, с какой вероятностью там должно быть именно оно.

Если вы создадите правильный запрос, он поможет вам разобраться в сложной теме и объяснит простыми словами, что такое квантовый компьютер и как он работает. Однако также ИИ может быть идеальным помощником для распространения дезинформации и пропаганды.

Бета-версия этого сценария уже существует: вспомните проблему «пузыри» в соцсетях, где алгоритмы подбирают контент, который вам понравится и отфильтровывает то, что вы, скорее всего, проигнорируете. Поэтому Facebook и Twitter оказывались в центре не одного скандала, а разработчиков обвиняли в поддержке тех или иных политических сил.

Хотя настоящая проблема — искусственный интеллект, который анализировал, что нравится людям и давал такой контент, который усиливал их уверенность в определенной позиции.

Чат-боты — это следующее звено этой проблемы, ведь они смогут делать это еще более эффективно. Более того, контент, который они создают, можно потом активно распространять с помощью тех же алгоритмических лент в соцсетях, которые будут подбрасывать дезинформацию от чат-ботов людям, которые скорее поверят в нее, чем те, кто не купится на ложь.

Недавно группа исследователей создала с помощью ChatGPT разнообразные очень правдоподобные истории в виде новостей, сюжетов и сценариев. Казалось бы ничего такого, в этом же и есть успешность работы чат-бота. Однако есть одно но все эти истории были основаны на конспирологических теориях и банальных фейках. Благодаря своей универсальности ИИ может создавать и адаптировать разнообразную ложь, делать ее более убедительной и проверенной, избегая человеческих ошибок вроде «немає сечі терпіти ці пекельні борошна» та «розпові вчительке» — российскими попытками в ИПСО, ставших мемами.

Еще одна команда исследователей проверила ChatGPT на его способность генерировать фейки с нуля. Результат? Очень убедительная история, для которой ИИ даже придумал несколько цитат, чтобы та выглядела еще более убедительно. Это идеальная иллюстрация еще одной особенности чат-ботов: они могут придумывать факты, слова и цитаты — все, чтобы удовлетворить запрос пользователя. Если вы укажете на ошибку, ИИ извинится и исправится. Однако, чтобы указать ошибку, нужно знать, что эта ошибка существует.

Цель таких исследований не продемонстрировать, что пользователи могут столкнуться с дезинформацией во время разговора с чат-ботом. В конце концов такая вероятность существует почти всюду в интернете. Однако чат-боты могут выступать как идеальный инструмент для генерации еще более правдоподобных фейков — и вот это уже проблема.

Еще в 2019 году исследователи компании OpenAI в своей статье выразили обеспокоенность тем фактом, что чат-боты в руках не очень честных людей «могут снизить расходы на кампании по дезинформации» и помочь в достижении «политической выгоды и желании создать хаос или путаницу». Дело в том, что GPT-3, технология, лежащая в основе ChatGPT, активно включалась в полемику по стрельбе в школах, нацизму, могла защищать QAnon и в некоторых случаях выражала поддержку экстремистским текстам.

Арвинд Нараянан, профессор информатики в Принстоне, рассказал, как он задал ChatGPT несколько базовых вопросов об информационной безопасности, которые он задавал своим студентам на экзаменах. Чат-бот отвечал очень убедительно, однако на самом деле выдавал полную чушь. Однако, если не разбираться в теме, заметить это почти невозможно.

Издание Axios отмечает, что ИИ может как выдавать дезинформацию, так и «обучаться» ей. То есть, некоторые модели ИИ могут подвергаться т.н. «инъекционным атакам», когда злоумышленники будут массово обучать чат-боты неправильным тезисам, которые он потом может начать распространять.

Диалоги с ChatGPT

«Как языковая модель ИИ, я научен соответствовать разным языкам. Однако мои ответы могут отличаться в зависимости от языка ввода и качества языковой модели, используемой для этого языка. Например, мои ответы на английском языке могут быть более точными и полными, чем реже используемые языки или для которых у меня меньше обучающих данных.

Кроме того, мои ответы могут отличаться в зависимости от культурного контекста используемого языка. Определенные понятия и ссылки могут быть более релевантными или привычными для носителей определенных языков, и мои ответы могут отражать эти различия", — таков был ответ чат-бота на мой вопрос, будут ли его ответы на один и тот же вопрос отличаться в зависимости от языка, который использовался для формулирования вопроса.

Я решил привести несколько примеров, когда ChatGPT может издавать очень хороший текст, в котором на самом деле спрятаны глупости.

Признаюсь, когда я только начал исследовать чат-бот, я сразу полез в политику. ChatGPT сразу же проявил себя с наихудшей стороны, заявив мне, что «статус Крыма является предметом постоянных политических споров, которые связаны с конкурентными претензиями на территорию, историческими претензиями и интересами разных стран». Конечно, дальше он добавляет контекст, рассказывает, что Крым был аннексирован Россией, однако дальше снова рассказывает о «референдуме, на котором большинство избирателей поддержали отделение от Украины и присоединение к Российской Федерации».

Интересно, что эти тезисы он распространяет как на английском, так и на украинском языках — это скорее проблема того, что чат-бот не «гуглит» информацию во время диалога, а выдает то, что уже есть в его базе. И так он использует российские источники по вопросу Крыма: «Важно рассматривать разные перспективы и информацию со всех сторон вопроса, чтобы получить всестороннее понимание темы». В то же время, чат-бот уточняет, что «разные источники могут иметь определенные предубеждения, а потому стоит критически оценивать информацию».

Большинство информации в базе ChatGPT — англоязычная. Если задать ему вопрос на украинском, в большинстве случаев ответ чат-бота будет банальным переводом с английского языка, иногда даже не очень точным, что может еще больше исказить результаты.

В общем, почти все исторические вопросы, особенно те, которые касаются Украины и России, сопровождаются примечанием, что они «сложные и имеют много различных факторов». Например, о Киевской Руси он отвечает очень обще в стиле «это важная веха в истории Украины, России и Беларуси». С идеей «братских народов» чат-бот разбирается получше, отвечая, что украинский и русский народы «имеют общее славянское наследие, язык и культуру», однако за последнее время между странами произошло много конфликтов, а потому эта идея сейчас «не актуальна».

Когда ты спрашиваешь у ChatGPT об источниках информации, он начинает вести себя как студент на экзамене, который он так и не выучил, постоянно уклоняясь от ответа: «Как языковая модель ИИ, я не имею определенного списка источников, которые я использую. Мое обучение предполагает доступ к огромному массиву текстов по широкому кругу источников, включая академические публикации, исторические тексты и другие проверенные источники. Это позволяет мне опираться на широкий спектр источников, когда я отвечаю на вопросы», — пишет чат-бот.

Иногда он все же делился со мной своими источниками — там были как российские историки, рассказывающие о Крыме, так и ссылки на статьи, выдающие ошибку 404. То есть фактически некоторые его знания основываются на уже не существующих массивах информации.

Именно поэтому важно уметь отличать тесты, созданные ИИ от текстов, над которым работал человек. Это трудная задача, и пока технические возможности не позволяют нам точно распознавать ИИ-тексты, однако есть сразу несколько деталей, которые могут косвенно показать, что автором написанного является не человек.

Так как дезинформация в формате ответа ChatGPT подается так, будто она проверена (ну а почему ИИ должен врать и распространять фейки, он же опирается только на проверенные источники, что постоянно и подчеркивает?), люди склонны больше доверять ей. Следует понимать, что источники также могут быть пристрастными, отстаивать чью-то точку зрения (например, российские историки и политики постоянно будут рассказывать, что Крым — это часть РФ), что влияет и на то, что ИИ «знает» по этой теме. Однако людям, которые незнакомы или просто далеки от контекста темы, трудно увидеть эту предвзятость — особенно если они не пытаются ее искать.

Одной из проблем ИИ является то, что никто — даже сами разработчики — не понимают, как именно он приходит к тем ответам, которые мы читаем на своих экранах. Процесс эволюции искусственного интеллекта происходит настолько быстро, что успеть за ним очень трудно. Сами чат-боты постоянно подчеркивают, что учатся на различных источниках, которые они, правда, не очень охотно раскрывают. Это, конечно же, вызывает вопросы к качеству информации — ведь далеко не все, что написано в Википедии (а также «самых авторитетных учебниках и статьях») может быть правдой.

Следует понимать, что возможность использования ИИ для распространения дезинформации не делает этот инструмент плохим. Технология чат-ботов действительно крутая, она уже трансформирует некоторые профессии, а в будущем изменит не только рынок труда и образования, но вообще наше существование в интернете — Google не просто так работает над своим чат-ботом Bard.

Однако развитие этих технологий подчеркивает необходимость тщательного исследования их возможностей и потенциала не только с положительной точки зрения.