Просто як люди. Найсучасніші моделі ШІ не зізнаються, що не мають відповідей на всі запитання — дослідження

Хоча моделі штучного інтелекту передбачувано стають більш точними в міру свого розвитку, вони також стають більш схильними неправильно відповідати на запитання, які виходять за рамки їхніх можливостей, ніж уникати відповідей, показало нове дослідження, опубліковане в Nature.

Команда вивчила три сімейства великих мовних моделей (LLM), включно із серією GPT від OpenAI, LLaMA від Meta і BLOOM з відкритим кодом. Дослідники протестували кілька версій кожної моделі, починаючи від ранніх і закінчуючи більш сучасними, але не найдосконалішими на сьогодні. Кожній моделі поставили тисячу запитань, що стосувалися наукових проблем, арифметики, анаграм, географії тощо. Також моделі запитували про їхню здатність перетворювати інформацію, наприклад складати список за алфавітом. Команда ранжувала свої запити за передбачуваною складністю.

Дані показали, що частка неправильних відповідей чат-ботів, наданих замість того, щоб уникнути відповіді на запитання, зростала в міру зростання моделей. Крім цього, дослідники з’ясували, що люди надто вже схильні вірити неправильним відповідям від ШІ. Діапазон неправильних відповідей, помилково сприйнятих учасниками дослідження як правильні, коливався від 10 до 40%.

Дослідницька група рекомендує розробникам штучного інтелекту активніше працювати над тим, щоб замість правдоподібних, але неправильних відповідей — так званих галюцинацій — користувачі отримували від чат-ботів відмови від виконання запитів. Це допоможе користувачам краще розуміти, що в певних питаннях вони не можуть покладатися на відповіді штучного інтелекту.