Российские инженеры из МФТИ и компании «Нейроботикс» научили нейросеть в реальном времени воссоздавать изображение, которое видит человек. Эта разработка поможет создать устройство для реабилитации пациентов после инсульта, пишет ТАСС со ссылкой на пресс-службу МФТИ.
Для дальнейшего развития методов лечения нарушений головного мозга ученым необходимо понимать, как в точности работает человеческий мозг. Основная задача состоит в том, чтобы изучить активность мозга и сравнить ее с тем, как человек воспринимает визуальную информацию и что видит в данный момент.
Интерфейс «мозг-компьютер» будет использовать для анализа сигнала с нейронов головного мозга электроэнцефалографию (ЭЭГ) и нейросеть, которая может изучать их.
«Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс «мозг — компьютер». Это очень обнадеживает. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации».
Автор работы Григорий Рашков.
В ходе эксперимента исследователи выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» (видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли) и «движущиеся механизмы», так называемые машины Голдберга.
Эти ролики показывались испытуемым, записывая ЭЭГ. Оказалось, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов различаются. Это позволило обучить нейросеть анализировать реакцию мозга на ролики в режиме реального времени.
Другая нейросеть смогла воссоздавать изображения, которые видели пользователи, в режиме реального времени только по частотам ЭЭГ. Нейросеть пока не смогла точно создать копию видеоролика, однако с ее помощью ученые в 90% угадали категорию ролика.