Эпоха цифровой лжи. Как распознать текст, написанный искусственным интеллектом

Если вам нужен краткий ответ, то его озвучил ChatGPT во время недавнего нашего диалога по поводу этой проблемы: «Самые современные чат-боты способны создавать текст, который трудно отличить от того, что может написать человек. Поэтому трудно найти какие-либо общие правила для определения, что это сделал бот».

Прежде чем разобраться с реалистичностью решения этой проблемы и тем, как над ее решением уже работают сотни компаний, важно понимать, зачем нам нужно понимать, какой текст писал ИИ, а какой человек. На первый взгляд разницы никакой — если текст дает ответ на неотложный вопрос и написан интересно, действительно ли большое значение имеет то, кто над ним работал?

Дело в том, что чат-бот — это идеальный инструмент для генерации огромного количества фейкового контента. Он пишет много и убедительно, однако для того же ChatGPT вопрос о принадлежности Крыма Украине постоянно «имеет сложную историю и касается разных политических, этнических и геополитических факторов». И это лишь один пример — на самом деле, во время своего тестирования чат-бота я уже несколько раз сталкивался с искажением и даже додумыванием фактов. Иногда он даже честно признается и извиняется — да, этот факт я выдумал, прошу прощения, говорит он — однако только после того, как я ему указывал на ошибку.

В руках умелого человека чат-боты могут стать идеальным инструментом для распространения дезинформации. Причем как сознательной — когда генерация лживого текста действительно цель пользователя для дальнейшего распространения — так и бессознательная, когда ИИ сам додумает определенные факты при ответе на вопрос об истории Украины или научной статьи.

Так, как только поднялся хайп по ChatGPT, в интернете появился ряд разнообразных инструментов, обещающих определить, кем написан текст. Конечно, все это сопровождается сообщениями в стиле «лучший инструмент в мире» или «с вероятностью 99%». Недавно свою программу для распознавания текста презентовала OpenAI — компания-разработчик ChatGPT. Однако работает она, мягко говоря, не очень успешно — даже сами разработчики говорят, что их инструмент может различить примерно 26% из всех написанных ИИ текстов.

Проблема в том, что такие инструменты работают не слишком точно. Самый банальный пример — во время собственной проверки одного из таких «лучших в мире» инструментов я скопировал рандомное сообщение из своей переписки с ChatGPT, которое мне выдал чат-бот. Результат? «Ваш текст, скорее всего, полностью написан человеком».

Вероятность того, что когда-нибудь у нас появится рабочий онлайн-инструмент, который сможет точно распознавать текст, созданный ИИ, очень низкая. Сущность языковых моделей искусственного интеллекта, на основе которых и создаются чат-боты типа ChatGPT, заключается в том, чтобы генерировать текст, который будет похож на человеческий язык. Для этого ИИ анализирует невероятное количество контента, затем пытается воспроизвести шаблоны и паттерны, которые используют люди. Унификация и стандартизация как она есть. Эта гонка вооружений пока за разработчиками ИИ.

Еще один метод для выявления ИИ-текста — водяные знаки. Это своеобразный сигнал в тексте, который «показывает» инструментам для проверки — да, меня создал чат-бот.

Исследователи из Университета Мэриленда разработали способ нанесения водяных знаков на текст, сгенерированный языковыми моделями ИИ, и выложили его в свободный доступ. В еще не прошедшем рецензирование исследовании алгоритм показал себя довольно неплохо — он почти со стопроцентной точностью распознавал текст, созданный с помощью открытой языковой модели OPT-6.7B от компании Meta.

Есть несколько способов создания подобных водяных знаков. К тексту можно добавлять невидимые маркеры, которые можно обнаружить только при использовании специальных программ. Другой подход заключается в использовании лингвистических особенностей текста, чтобы определить, был ли он написан ИИ. Такой текст будет иметь более простое построение и структуру предложений, в нем будет меньше контекста, примеров и определенных слов (например, сленговых), характерных для человеческого текста.

Именно этот подход используют ученые из Университета Мэриленда. Они использовали особенность языковых моделей и их подход к созданию текстов. Если упростить, то ИИ не понимает смысла того, что он пишет: он видит ваш запрос, перебирает ключевые слова, связанные с ним, а затем начинает генерировать каждое следующее слово, предполагая, с какой вероятностью там должно быть именно оно. Именно поэтому тексты от ИИ часто выглядят шаблонно и одинаково — особенно если давать чат-боту простые задания.

Алгоритмы, созданные исследователями Университета Мэриленда, работают буквально так же, объясняет Том Голдштейн, ученый, работавший над этим исследованием, изданию MIT Technology Review. После каждого слова в тексте программа создает «зеленый» и «красный» список следующих слов. Например, после слова «красивый» алгоритм выберет слово цветок в зеленый список, в то время как более специфическая и редко используемая орхидея отправится в красный список.

«Модель искусственного интеллекта с алгоритмом водяных знаков, скорее всего, будет использовать слово » цветок", чем «орхидея», — рассказывает Голдштейн логику работы алгоритма.

Проблема этого метода в том, что компании-разработчики ИИ должны встраивать водяные знаки в свои чат-боты во время их разработки. То есть все банально зависит от добропорядочности компании и ее готовности идти навстречу.

Например, OpenAI работает над созданием подобных систем, однако эти исследования остаются крайне засекреченными, а алгоритмы до сих пор не работают ни в одном из продуктов компании — тем временем ChatGPT работает в открытом доступе уже около полугода. Компания банально не хочет открывать все секреты своего чат-бота и языковых сетей — как их учили, как они работают и почему генерируют именно тот текст, который мы получаем при переписках с чат-ботом. Более того, часто компании и сами не могут объяснить результаты работы ИИ — эту гонку мы уже тоже постепенно проигрываем, хотя это, скорее, тема для отдельного текста.

По состоянию на сегодня идеальным выходом будет пользование сразу несколькими сервисами — что-то вроде перекрестной проверки текста. Можно использовать несколько инструментов, например, от Content at Scale, OpenAI, GPTZero, Writer и Originality (последний — платный, но работает довольно неплохо).

Кроме того, следует обращать внимание на особенности построения текста. Вот несколько аспектов, на которые следует обратить внимание для выявления ИИ-текста:

• ИИ часто использует простые и короткие предложения. Он пытается имитировать человеческое письмо, однако сложные предложения ему пока что даются очень тяжело;
• ИИ любит повторять одни и те же слова и фразы (помните, ИИ не понимает, что он пишет, а просто пытается заполнить пространство ключевыми словами, соответствующими запросу).
• Чат-ботам сложно анализировать написанную информацию. Да, он может вам хорошо скомпилировать статью из Википедии о квантовой запутанности и даже добавит какой-нибудь интересный пример с котом Шрёдингера, однако вряд ли там будет настоящее объяснение о том, как мы можем использовать эту квантовую запутанность для дальнейших открытий в медицине.
• Проверяйте факты и источники. ИИ пылесосит информацию по всему интернету, однако не очень любит указывать это в своих ответах — об этом его нужно просить дополнительно, причем иногда он может выдавать нерелевантные или вообще ссылки с ошибкой 404.

Следует понимать, что по состоянию на сегодня чат-боты, языковые сети и другие AI-штуки только начинают становиться доступными для всех. Это только начало пути, поэтому логично, что сейчас у нас нет идеальной технологии для определения авторства текста. С каждым днем ИИ становится все лучше. Со временем он будет писать более сложные тексты, использовать более богатый язык и сможет еще лучше имитировать людей.

Открытым вопросом остается наша возможность создавать инструменты, которые смогут отличать контент, созданный ИИ от того, над которым работал исключительно человек. Вероятно, со временем эта задача будет все сложнее, однако пока можете не переживать. Банальная внимательность + комбинация нескольких вышеперечисленных инструментов пока что вас спасут.

Пока что :)