Детектор ChatGPT. Появился инструмент, который может распознать текст от искусственного интеллекта в научных работах

Сейчас ученые работают над детектором обнаружения искусственного интеллекта, адаптируя программное обеспечение к определенным типам письма, в частности они сфокусировались на академическом письме, говорится в исследование Nature.

Большие языковые модели, такие как ChatGPT, могут генерировать аутентичный текст с молниеносной скоростью, но многие издатели журналов отказываются от языковых моделей для свои работы.

Чтобы различить текст, созданный человеком, от текста, созданного искусственным интеллектом (ИИ), ученые разработали точный детектор текста с искусственным интеллектом для научных журналов и проверили его эффективность на человеческих работах из химических журналов, на тексте от GPT-4, и, что самое важное, на тексте искусственного интеллекта, созданный с помощью подсказок, предназначенных для запутывания ИИ.

Читайте также:

Твой личный ИИ. OpenAI анонсировала новый инструмент для создания чат-ботов

Во всех случаях искусственный интеллект и человеческий текст были определены с высокой точностью. Текст, сгенерированный ChatGPT, можно легко найти в химических журналах.

Этот прогресс является фундаментальной предпосылкой для понимания того, как автоматизированная генерация текста повлияет на публикацию научных работ в будущем.

Во время тестирования, инструмент определил разделы, написанные ChatGPT-3.5, на основе заголовков со 100% точностью. Для вступлений, сгенерированных ChatGPT на основе тезисов, точность была немного ниже — 98%. Инструмент так же хорошо работал с текстом ChatGPT-4,.

По сравнению с уже известным детектором искусственного интеллекта ZeroGPT, который якобы определяет написанный искусственным интеллектом текст, имел точность лишь около 35−65%, в зависимости от используемой версии ChatGPT.

Инструмент классификатора текста, созданный компанией OpenAI, производителем ChatGPT, также показал плохие результаты — он мог заметить написанные ИИ работы с точностью около 10−55%.