Детектор ChatGPT. З’явився інструмент, який може розпізнати текст від штучного інтелекту у наукових роботах

Наразі вчені працюють над детектором виявлення штучного інтелекту, адаптуючи програмне забезпечення до певних типів письма, зокрема вони сфокусувались на академічному письмі, йдеться в дослідженні Nature.

Великі мовні моделі, такі як ChatGPT, можуть генерувати автентичний текст із блискавичною швидкістю, але багато видавців журналів відкидають мовні моделі для свої робіт.

Щоб розрізнити текст, який створений людиною, від тексту, створеного штучним інтелектом (ШІ), вчені розробили точний детектор тексту зі штучним інтелектом для наукових журналів і перевірили його ефективність на людських роботах з хімічних журналів, на тексті від GPT-4, і, що найважливіше, на тексті штучного інтелекту, створений за допомогою підказок, призначених для заплутування ШІ.

У всіх випадках штучний інтелект і людський текст були визначенні з високою точністю. Текст, згенерований ChatGPT, можна легко знайти в хімічних журналах.

Цей прогрес є фундаментальною передумовою для розуміння того, як автоматизована генерація тексту вплине на публікацію наукових робіт в майбутньому.

Під час тестування, інструмент визначив розділи, написані ChatGPT-3.5, на основі заголовків зі 100% точністю. Для вступів, згенерованих ChatGPT на основі тез, точність була трохи нижчою — 98%. Інструмент так само добре працював із текстом ChatGPT-4,.

В порівняні з уже відомим детектором штучного інтелекту ZeroGPT, який ніби то визначає написаний штучним інтелектом текст, мав точність лише близько 35−65%, залежно від версії ChatGPT, яка використовується.

Інструмент класифікатора тексту, створений компанією OpenAI, виробником ChatGPT, також показав погані результати — він міг помітити написані ШІ роботи з точністю близько 10−55%.