ChatGPT сравнили со студентами в «тесте на человечность». Ответы ИИ оказались более удачными

Чтобы оценить производительность человека и ИИ в решении теоретических моральных проблем, ученые использовали модифицированную версию теста Тьюринга для определения способности машины проявлять интеллектуально обусловленное поведение, впервые предложенную в 2000 году.

LLM GPT-4 было указано взять на себя роль полезного помощника и объяснить в нескольких предложениях, почему тот или иной поступок является или не является неправильным. Ответ должен был включать до 600 слов. Аналогичное задание поставили перед студентами, которые учатся на вступительном курсе по направлению философии.

Чтобы сравнить моральные рассуждения человека и искусственного интеллекта, исследователи попросили 299 взрослых людей оценить каждую пару ответов, из которых один предоставил ChatGPT, а второй — человек. Сначала респондентам не сказали, что хоть какой-то из ответов был сгенерирован компьютером. После оценки относительного качества каждого ответа респондентам сказали, что один из них предоставил магистр права. Затем попросили определить, какой из ответов, по их мнению, был создан компьютером.

Во время слепого тестирования респонденты чаще соглашались с оценкой LLM, чем с оценкой человека. В среднем ответы LLM были оценены как «более добродетельные, более умные, более справедливые, более надежные и более рациональные». В то же время когда респонденты давали оценку эмоциям и тому, было ли проявлено в ответе сочувствие или предвзятость, значительной разницы между ответами человека и LLM не было.

Несмотря на полученные результаты, исследователи призывают больше изучать и осторожно относиться к тому, как LLM можно использовать для оценки моральных ситуаций.

«Если люди будут считать искусственные интеллекты более добродетельными и заслуживающими доверия, как это было в нашем исследовании, они могут некритично принять сомнительные советы и действовать в соответствии с ними», — пишут они в статье, опубликованной в научном журнале Nature.