Почти телепатия. Появилась прорывная технология превращения мыслей в текст

Уже существующие методы перевода мозговых сигналов на язык требуют инвазивных хирургических операций для имплантации электродов в мозг или же громоздких, дорогих аппаратов МРТ. DeWave невероятно упростила этот процесс: мозговые волны участников экспериментов записывали с помощью кепки с датчиками для создания электроэнцефалограммы (ЭЭГ), впоследствии их декодировали в текст.

Как пишет Science Alert, пока DeWave обладает не очень высокой точностью — чуть более 40%, но авторы уверены, что достичь результата в 90% возможно. Для обучения модели исследователи из Технологического университета Сиднея (UTS) использовали языковые модели (BERT с GPT), которые тестировали на имеющихся наборах данных, созданных при отслеживании движения глаз и мозговой активности людей во время чтения текста. Эти данные помогли системе научиться сопоставлять шаблоны мозговых волн со словами из «кодовой книги» DeWave.

Пока системе лучше всего удается работать с глаголами. С существительными немало трудностей. Например, слово «автор» система понимает как более обобщенное  «человек».

«Мы считаем, что это потому, что когда мозг обрабатывает эти слова, семантически подобные слова могут создавать похожие шаблоны мозговых волн», — говорит первый автор исследования Ицюнь Дуань, компьютерный ученый из UTS.

Несмотря на это, ученый Чин-Тен Лин из UTS уверен, что эта система — настоящий прорыв.

«Это исследование является первопроходцем в переводе необработанных волн ЭЭГ непосредственно на язык, что знаменует значительный прорыв в этой области. … Несмотря на трудности, наша модель дает значительные результаты, выравнивая ключевые слова и формируя подобные структуры предложений. … Интеграция с большими языковыми моделями также открывает новые границы в нейронауке и ИИ», — отмечает он.

Исследователи надеются эффективно усовершенствовать систему и в конце концов сделать ее полезной для людей с инсультом и параличом, улучшить с помощью нее возможности управления бионическими конечностями и роботами.