Симулянт или правда больной? ChatGPT разленился, исследователи поспешили диагностировать «сезонную депрессию»

Еще после выпуска в начале года четвертой версии мультимодальной большой языковой модели от OpenAI GPT-4, которая сейчас доступна только владельцам подписки ChatGPT Plus, пользователи жаловались, что чат-бот, кажется, стал работать только хуже. С тех пор многие исследователи пытались найти подтверждение такой субъективной оценке. И эти попытки получили новый толчок с наступлением осенне-зимнего периода, с которым совпали многочисленные инциденты «лени» чат-бота.

В частности, в конце ноября пользователь Reddit пожаловался, что попросил ChatGPT заполнить файл CSV несколькими записями, но чат-бо отказался. В ответе он отметил, что этот процесс был бы довольно длительным, поэтому он может предложить создать шаблон, по которому пользователь при необходимости может заполнить файл самостоятельно. Кроме этого, исследователи начали предполагать, что ответы чат-бота становятся более короткими. Часть из них утверждает, что объем ответа зависит от заданной модели даты. Это предположение получило название «гипотезы зимних каникул» или «симулирования сезонной депрессии». И какой бы смешной эта идея не казалась, совсем отвергнуть ее нет оснований.

«Это самая смешная из теорий, и, я надеюсь, настоящее объяснение. Независимо от того, правдива она или нет, [мне] нравится, что ее трудно исключить», — заметил исследователь искусственного интеллекта Джефри Литт.

Разработчик Роб Линч поделился в X (Twitter), что протестировал GPT-4 Turbo и выяснил, что когда модели при одинаковом запросе подается декабрьская дата, ответ имеет объем 4086 символов, а когда майская — 4298 символов. Линч утверждал, что результаты его тестирования были статистически значимыми. В то же время исследователь искусственного интеллекта Ян Аравжо в комментариях на X отметил, что не смог воспроизвести результаты со статистической значимостью.

В OpenAI признали, что «проблема лени», связанная с отказом чат-бота от выполнения запросов, на которую жалуются пользователи, действительно есть, но ее причины пока не определены.

«Не говорю, что у нас нет проблем с чрезмерными отказами (у нас они точно есть) или другими странными вещами (работаем над решением недавней проблемы лени), но это результат итеративного процесса обслуживания и попыток поддержать очень многих пользователей сразу», — написал в X сотрудник OpenAI Вил Депю.

На официальной странице ChatGPT в X проблему связали с тем, что модель длительное время не обновлялась.

«Мы услышали все ваши отзывы о том, что GPT-4 становится ленивым! Мы не обновляли модель с 11 ноября, и это, конечно, не намеренно. Поведение модели может быть непредсказуемым, и мы пытаемся это исправить», — говорится в заметке.