В эксперименте, результаты которого были опубликованы в журнале Cerebral Cortex, приняло участие три добровольца. Они просмотрели более 972 коротких видеороликов, на основе которых было получено 11,5 часов фМРТ-данных.
С помощью данных группа исследователей из Университета Пердью научили сверточную нейросеть соотносить активность мозга с сюжетами видеороликов. Таким образом, система в режиме реального времени могла определять, какой именно видеоролик смотрит доброволец, по его фМРТ-снимку. Для этого ученые проводили сканирование мозга каждые 2 секунды.
Ученым не только удалось расшифровать мысли, но и определить, какие зоны мозга связаны с отдельными блоками информации. Как пояснили ученые, мозг способен разделять образ с автомобилем, движущимся на фоне здания. Так, одна зона мозга считывает автомобиль, а другая — здание. Методика позволяет проследить, как мозг делит визуальную информацию на блоки и как в итоге сводит ее воедино.
Исследование также доказало, что методику можно применять для считывания данных даже у пациентов с расстройством зрения. В ходе экспериментов ученые подтвердили, что нейросеть, натренированная на данных одного добровольца, может расшифровывать данные мозга другого добровольца.
В начале 2018 года Google достигнет «квантового превосходства»
Идеи
Расшифровка визуальных данных по фМРТ-снимкам уже стала стандартной практикой среди нейрофизиологов. Благодаря системам на основе искусственного интеллекта интерпретация результатов становится более точной и быстрой. Так, в июне прошлого года американские ученые создали нейросеть, способную восстанавливать изображения лиц по воспоминаниям. А в мае китайские исследователи обучили нейросеть расшифровывать изображения, анализируя визуальную кору головного мозга.