Думайте аккуратнее. Нейросеть научили определять мысли человека

17 октября 2019, 17:10
Цей матеріал також доступний українською

Исследователи российской Лаборатории нейроробототехники МФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент.

Ученые полагают, что это открытие позволит создавать устройства для лечения когнитивных нарушений, которыми можно будет управлять при помощи сигналов мозга.

Для создания таких устройств необходимо понять то, как мозг кодирует информацию. Ключевая задача для понимания принципов его работы — исследование активности мозга, возникающей при визуальном восприятии информации. Все существующие решения в области распознавания изображений по сигналам мозга используют функциональную магнитно-резонансную томографию (фМРТ) или анализ сигнала с нейронов.

Видео дня

Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ, использует нейросеть и электроэнцефалограмму (ЭЭГ), которую снимают с поверхности головы. Эта разработка с помощью ЭЭГ в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» — видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.

«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты», — говорит Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ.

Ранее НВ сообщало, что ученые создали сверточную нейронную сеть, которая по анализу МРТ-снимков понимает, что смотрит человек в данный момент. Разработчики из Университета Пердью в США научили искусственный интеллект определять, какое видео смотрит человек.

В эксперименте приняло участие три добровольца. Они просмотрели более 950 коротких видеороликов, на основе которых было получено 11,5 часов МРТ-данных. Затем авторы научили сверточную нейросеть соотносить активность мозга с сюжетами видеороликов. Таким образом, система в режиме реального времени могла определять, какой именно видеоролик смотрит доброволец.

poster
Подписаться на ежедневную email-рассылку
материалов раздела Техно
Рассылка о том как технологии изменяют мир
Каждый понедельник

Присоединяйтесь к нам в соцсетях Facebook, Telegram и Instagram.

Показать ещё новости
Радіо НВ
X