Епоха цифрової брехні. Як розпізнати текст, написаний штучним інтелектом

Якщо вам потрібна коротка відповідь, то її озвучив ChatGPT під час нещодавнього нашого діалогу з приводу цієї проблеми: «Найсучасніші чат-боти здатні створювати текст, який важко відрізнити від того, що може написати людина. Тому важко знайти якісь загальні правила для визначення, що це зробив бот».

Перш ніж розібратися з реалістичністю вирішення цієї проблеми і тим, як над її рішенням вже працюють сотні компаній, важливо розуміти, навіщо нам потрібно розуміти, який текст писав ШІ, а який — людина. На перший погляд різниці ніякої — якщо текст дає відповідь на нагальне питання та написаний цікаво, то чи дійсно велике значення має те, хто над ним працював?

Річ у тім, що чат-бот — це ідеальний інструмент для генерації величезної кількості фейкового контенту. Він пише багато і переконливо, проте для того ж таки ChatGPT питання щодо належності Криму Україні постійно «має складну історію і стосується різних політичних, етнічних та геополітичних факторів». І це лише один приклад — насправді, під час свого тестування чат-боту я вже кілька разів стикався з перекручуванням і навіть додумуванням фактів. Іноді він навіть чесно зізнається і вибачається — так, цей факт я видумав, прошу вибачення, каже він — проте лише після того, як я йому вказував на помилку.

У руках вмілої людини чат-боти можуть стати ідеальним інструментом для поширення дезінформації. Причому як свідомої — коли генерація брехливого тексту дійсно є метою користувача для подальшого поширення — так і несвідомої, коли ШІ сам додумає певні факти під час відповіді на питання про історію України або якоїсь наукової статті.

Так, як тільки піднявся хайп щодо ChatGPT, в інтернеті з’явилася низка різноманітних інструментів, які обіцяють визначити, ким написано текст. Звичайно, все це супроводжується дописами в стилі «найкращий інструмент у світі» або «з вірогідністю 99%». Нещодавно свою програму для розпізнавання тексту презентувала OpenAI — компанія-розробник ChatGPT. Проте працює вона, м’яко кажучи, не дуже успішно — навіть самі розробники кажуть, що їхній інструмент може розрізнити приблизно 26% текстів з усіх, що написані ШІ.

Проблема в тому, що такі інструменти працюють не дуже точно. Найбанальніший приклад — під час власної перевірки одного з таких «найкращих у світі» інструментів я скопіював рандомне повідомлення зі своєї переписки з ChatGPT, яке мені видав чат-бот. Результат? «Ваш текст, найімовірніше, повністю написаний людиною».

Імовірність того, що коли-небудь у нас з’явиться робочий онлайн-інструмент, який зможе точно розпізнавати текст, створений ШІ, дуже низька. Сутність мовних моделей штучного інтелекту, на основі яких і створюються чат-боти на кшталт ChatGPT, полягає у тому, щоб генерувати текст, який буде схожий на людську мову. Для цього ШІ аналізує неймовірну кількість контенту, а потім намагається відтворити шаблони та патерни, які використовують люди. Уніфікація і стандартизація як вона є. Ця гонка озброєнь поки що за розробниками ШІ.

Ще один метод для виявлення ШІ-тексту — водяні знаки. Це своєрідний сигнал у тексті, який «показує» інструментам для перевірки — так, мене створив чат-бот.

Дослідники з Університету Меріленду розробили спосіб нанесення водяних знаків на текст, згенерований мовними моделями ШІ, та виклали його у вільний доступ. У дослідженні, яке ще не пройшло рецензування, алгоритм показав себе досить непогано — він майже зі стовідсотковою точністю розпізнавав текст, створений за допомогою відкритої мовної моделі OPT-6.7B від компанії Meta.

Є кілька способів створення подібних водяних знаків. До тексту можна додавати невидимі маркери, які можна буде виявити лише в разі використання спеціальних програм. Інший підхід полягає у використанні лінгвістичних особливостей тексту, щоб визначити, чи був він написаний ШІ. Такий текст матиме простішу побудову та структуру речень, у ньому буде менше контексту, прикладів і певних слів (наприклад, сленгових), характерних для людського тексту.

Саме цей підхід і використовують вчені з Університету Меріленду. Вони використали особливість мовних моделей і їхнього підходу до створення текстів. Якщо спростити, то ШІ не розуміє сенсу того, що він пише: він бачить ваш запит, перебирає ключові слова, пов’язані з ним, а потім починає генерувати кожне наступне слово, передбачаючи, з якою вірогідністю там має бути саме воно. Саме тому тексти від ШІ часто виглядають шаблонно та однаково — особливо якщо давати чат-боту прості завдання.

Алгоритми, створені дослідниками Університету Меріленду працюють буквально так само, пояснює Том Голдштейн, учений, який працював над цим дослідженням, виданню MIT Technology Review. Після кожного слова у тексті програма створює «зелений» та «червоний» список наступних слів. Наприклад, після слова «красива» алгоритм вибере слово квітка у зелений список, в той час як більш специфічне та рідковживане орхідея відправиться до червоного списку.

«Модель штучного інтелекту з алгоритмом водяних знаків, найімовірніше, буде використовувати слово «квітка», ніж «орхідея», — розповідає Голдштейн логіку роботи алгоритму.

Проблема цього методу в тому, що компанії-розробники ШІ мають вбудовувати водяні знаки у свої чат-боти під час їхньої розробки. Тобто, все банально залежить від доброчесності компанії та її готовності іти назустріч.

Наприклад, OpenAI працює над створенням подібних систем, проте ці дослідження залишаються вкрай засекреченими, а алгоритми і досі не працюють у жодному з продуктів компанії — тим часом ChatGPT працює у відкритому доступі вже майже пів року. Компанія банально не хоче відкривати усі секрети свого чат-боту та мовних мереж — як їх навчали, як вони працюють та чому генерують саме той текст, який ми отримуємо під час переписок із чат-ботом. Ба більше, часто компанії і самі не можуть пояснити результати роботи ШІ — цю гонку ми вже також поступово програємо, хоча це, радше, тема для окремого тексту.

Станом натепер ідеальним виходом буде користування одразу кількома сервісами — щось на кшталт перехресної перевірки тексту. Можна використовувати кілька інструментів, наприклад, від Content at Scale, OpenAI, GPTZero, Writer та Originality (останній — платний, проте працює доволі непогано).

Крім того, варто звертати увагу на особливості побудови тексту. Ось кілька аспектів, на які варто звернути увагу для виявлення ШІ-тексту:

• ШІ часто використовує прості та короткі речення. Він намагається імітувати людське письмо, проте складні речення йому поки що даються дуже важко;
• ШІ любить повторювати одні й ті самі слова та фрази (пам’ятайте, ШІ не розуміє, що він пише, а просто намагається заповнити простір ключовими словами, які відповідають запиту).
• Чат-ботам важко аналізувати написану інформацію. Так, він може вам гарно скомпілювати статтю з Вікіпедії про квантову заплутанність і навіть додасть якийсь цікавий приклад з котом Шредінгера, проте навряд чи там буде справжнє пояснення про те, як ми можемо використовувати цю квантову заплутанність для подальших відкриттів у медицині.
• Перевіряйте факти та джерела. ШІ пилососить інформацію з усього інтернету, проте не дуже любить вказувати про це у своїх відповідях — про це його треба просити додатково, причому іноді він може видавати нерелевантні або взагалі посилання з помилкою 404.

Варто розуміти, що станом на зараз чат-боти, мовні мережі та інші AI-штуки тільки починають ставати доступними для всіх. Це лише початок шляху, а тому логічно, що зараз у нас немає ідеальної технології для визначення авторства тексту. З кожним днем ШІ стає все кращим. Згодом він писатиме складніші тексти, використовуватиме багатшу мову та зможе ще краще імітувати людей.

Відкритим питанням залишається наша можливість створювати інструменти, які зможуть відрізняти контент, створений ШІ від того, над яким працювала виключно людина. Ймовірно, з часом це завдання буде дедалі складнішим — проте поки що можете не переживати. Банальна уважність + комбінація кількох вищеперерахованих інструментів поки що врятують вас.

Поки що :)