Думайте акуратніше. Нейромережу навчили визначати думки людини

17 жовтня 2019, 17:10
Вы также можете прочесть этот материал на русском языке

Дослідники російської Лабораторії нейроробототехнікі МФТІ навчилися відтворювати по електричній активності мозку зображення, які людина бачить в даний момент.

Вчені вважають, що це відкриття дозволить створювати пристрої для лікування когнітивних порушень, якими можна буде керувати за допомогою сигналів мозку.

Для створення таких пристроїв необхідно зрозуміти те, як мозок кодує інформацію. Ключове завдання для розуміння принципів його роботи — дослідження активності мозку, що виникає при візуальному сприйнятті інформації. Всі існуючі рішення в області розпізнавання зображень за сигналами мозку використовують функціональну магнітно-резонансну томографію (ФМРТ) або аналіз сигналу з нейронів.

Відео дня

Інтерфейс «Мозок — комп’ютер», створений командою вчених з МФТІ, використовує нейросеть і електроенцефалограму (ЕЕГ), яку знімають з поверхні голови. Ця розробка за допомогою ЕЕГ в режимі реального часу реконструює кадри з відео, яке дивиться людина.

Експеримент складався з двох частин. У першій частині дослідники довільно обрали п’ять різних категорій роликів з YouTube: «абстракції», «водоспади», «обличчя людей», «швидкість» — відеозйомку від першої особи гонок на снігоходах, водних мотоциклах, ралі - і «рухомі механізми», які показували випробуваним, записуючи при цьому ЕЕГ. Ролики тривали по 10 секунд, в сумі вся сесія записів у кожного випробуваного становила 20 хвилин.

У цій частині експерименту вченим вдалося довести, що частотні характеристики хвильової активності (Спектри) ЕЕГ для різних категорій відеороликів достовірно різняться. Це дозволило аналізувати реакцію мозку на відеоролики в режимі реального часу.

Для другої частини експерименту були довільно обрані три категорії з перерахованих вище відео. Фахівці розробили дві нейромережі, одна з яких генерувала довільні зображення цих же категорій з «шуму», а друга — створювала схожий «Шум» з ЕЕГ. Потім автори роботи навчили ці нейромережі працювати спільно так, щоб по записаному сигналу ЕЕГ створювалися кадри, схожі на ті, які бачили люди в момент запису.

Для перевірки випробуваним показали абсолютно нові відео тих же категорій, знімаючи при цьому ЕЕГ і в реальному часі відправляючи її на нейромережі. Нейромережі добре впоралися і з цим завданням: створювали реалістичні кадри, за якими в 90% випадків можна було визначити категорію відео.

«Енцефалограма — слідової сигнал від роботи нервових клітин, що знімається з поверхні голови. Раніше вважалося, що досліджувати процеси в мозку за ЕЕГ — це все одно, що намагатися дізнатися будову двигуна паровоза по його диму. Однак виявилося, що така реконструкція можлива і демонструє хороші результати», — каже Григорій Рашків, один з авторів роботи, молодший науковий співробітник МФТІ.

Раніше НВ повідомляло, що вчені створили нейронну мережу, яка по аналізу МРТ-знімків розуміє, що дивиться людина в даний момент. Розробники з Університету Пердью в США навчили штучний інтелект визначати, яке відео дивиться людина.

В експерименті взяло участь три добровольця. Вони переглянули понад 950 коротких відеороликів, на основі яких було отримано 11,5 годин МРТ-даних. Потім автори навчили нейромережу співвідносити активність мозку з сюжетами відеороликів. Таким чином, система в режимі реального часу могла визначати, який саме відеоролик дивиться доброволець.

poster
Підписатись на щоденну email-розсилку
матеріалів розділу Техно
Розсилка про те як технології змінють світ
Щопонеділка

Приєднуйтесь до нас у соцмережах Facebook, Telegram та Instagram.

Показати ще новини
Радіо НВ
X