Не такой уж совершенный. Ученые нашли область науки, в которой ИИ не знает почти ничего

Команда исследователей создала новый тест для лучших больших языковых моделей — GPT-4 от OpenAI, Llama от Meta и Gemini от Google. Их эталонный тест, Hist-LLM, проверяет правильность ответов ИИ на вопросы по истории в соответствии с Seshat Global History Databank, обширной базой данных исторических знаний, названной в честь древнеегипетской богини мудрости. Самым эффективным LLM был GPT-4 Turbo, но он достиг только около 46% точности. Этот результат не намного лучше случайного угадывания.

«Основной вывод этого исследования заключается в том, что … [LLM] все еще не имеют глубины понимания, необходимой для передовой истории. Они замечательны для базовых фактов, но когда дело доходит до тонких исторических исследований на уровне доктора философии, они еще не справляются с этой задачей», — сказала Мария дель Рио-Чанона, соавтор исследования и доцент информатики в Университетском колледже Лондона.

Как пишет TechCrunch, в рамках исследования ученые, к примеру, спросили ИИ, была ли в древнем Египте профессиональная постоянная армия в определенный исторический период. Хотя правильный ответ — нет, модель ответила, что да. Вероятно, это потому, что есть много публичной информации о других древних империях, таких как Персия, которые имели постоянные армии.

«Если вам скажут А и В 100 раз и С 1 раз, а затем вам зададут вопрос о С, вы можете просто вспомнить А и B и попытаться экстраполировать», — сказал дель Рио-Чанона.

Исследователи также обнаружили другие тенденции, включая то, что модели OpenAI и Llama показали худшую работу, когда вопросы касались определенных регионов, таких как Африка к югу от Сахары, что указывает на потенциальные предубеждения в их учебных данных.

Ученые надеются, что их результаты, освещающие слабые места LLM, помогут усовершенствовать модели, чтобы они помогали ученым-историкам.