Такой себе айтишник. Более половины ответов ChatGPT по программированию оказались ложными — исследование

В последние годы программисты все чаще обращаются к чат-ботам с искусственным интеллектом, как ChatGPT от OpenAI, в поисках помощи с работой. Однако исследование Университета Пердью (США) показало, что этот помощник по меньшей мере не очень надежен.

Исследователи рассмотрели 517 вопросов по программированию на веб-сайте для программистов с вопросами и ответами Stack Overflow. Ответить на эти вопросы предложили и ChatGPT. Большинство ответов чат-бота были ложными.

«Наш анализ показывает, что 52% ответов ChatGPT содержат неверную информацию, а 77% - многословны. Тем не менее участники нашего исследования пользователей все еще отдавали предпочтение ответам ChatGPT в 35% случаев из-за их исчерпывающего характера и хорошо сформулированного стиля речи. Однако они также не заметили дезинформацию в ответах ChatGPT в 39% случаев. Это объясняет необходимость противодействовать дезинформации в ответах ChatGPT на вопросы по программированию и повышать осведомленность о рисках, связанных с, казалось бы, правильными ответами», — говорят исследователи.

Результаты лингвистического анализа, проведенного исследователями, показали, что ответы ChatGPT очень формальны и редко описывают негативные настроения. Это, по мнению исследователей, также способствует тому, что пользователи склонны доверять этим ответам.

«Ожидаем, что эта работа будет способствовать большему количеству исследований по прозрачности и сообщений о некорректности в ответах, сгенерированных машиной, особенно в контексте программирования», — отмечают исследователи.