Инструкция потерялась по дороге. Эксперимент выявил разницу между вниманием человека и больших языковых моделей

Суть его проста: перед вами слово «красный», но написанное синими чернилами. Ваша задача — назвать цвет чернил, игнорируя значение слова. Звучит легко. На самом деле — нет. Мозг читает слова автоматически, и подавить этот рефлекс требует усилий. Люди справляются — пусть с небольшой задержкой, но справляются, даже с длинными списками.

Исследователи под руководством Сукета Пателя решили проверить, как с тем же тестом справятся крупные языковые модели — GPT, Claude, Gemini. Результаты оказались неожиданными.

На коротких списках из пяти слов все выглядело неплохо. GPT-4o показал 91% правильных ответов, Claude 3.5 Sonnet тоже держался уверенно. Можно было бы порадоваться и написать статью о том, что ИИ наконец научился концентрироваться. Но исследователи удлинили список.

При десяти словах точность GPT-4o упала до 57%. При сорока — до 15%. Claude продержался дольше, стабильно прошел двадцать слов, но на сорока тоже сложил оружие: 24% правильных ответов. GPT-5, Claude Opus 4.1 и Gemini 2.5 показали схожую картину. А когда в один список смешали слова, совпадающие по цвету и значению, и слова, конфликтующие между собой, — точность на конфликтных позициях упала почти до нуля.

Что это означает на практике? Модели, похоже, просто теряли нить. Начинали выполнять задание правильно — называть цвет чернил — а затем постепенно скатывались к тому, что им давалось проще: читать слово. Первоначальная инструкция где-то терялась по пути.

Это не означает, что ИИ плохо пишет, рассуждает или программирует. В этих задачах он действительно силен. Но тест Струпа выявил нечто иное: способность удерживать фокус на конкретной цели в условиях конкурирующей информации — и особенно на больших последовательностях — у языковых моделей устроена принципиально иначе, чем у человека. Возможно, даже хуже.