Визуально кора головного мозга устроена так, что, когда человек наблюдает какое-то изображение, активируются определенные ее нейроны. Активация характеризуется увеличивающимся притоком крови в эту область. Сегодня наиболее точный метод отследить эту активность — функциональная магнитно-резонансная томография (фМРТ). Метод фиксирует изменения в мозговом кровотоке, позволяя определять активные нейроны. Ученные же по комбинации активных нейронов пытались определить, какое изображение это вызвало, объясняется на сайте Technologyreview.
Исследователи показывали людям изображения букв — они расположены в первом ряду на фотографии ниже. В момент демонстрации определенной буквы делался МРТ-скан коры головного мозга — фиксировалась ее активность. Задача ученых была в том, чтобы расшифровать показанную букву по данным фМРТ. Расшифровать образы напрямую из визуальной коры ученые пытались уже давно. На строчке со 2 по 5 расположены результаты работы менее совершенных алгоритмов. То, что реализовали китайцы называется Deep Generative Multiview Model (DGMM) — 6 строчка — и это уже очень близко к оригинальным изображениям.
Данные фМРТ содержат очень большое количество шумов, потому что на каждый нейрон сильно влияют соседние. Из-за этого очень сложно выделить работу отдельных нейронов. Избавление от этих шумов пока лежит на алгоритмах. У китайцев в распоряжении было 1800 пар из сканов фМРТ и изначальных букв и цифр. На них они обучали свой алгоритм распознавать активность коры. Ученые поставили это как задачу глубокого обучения. Они использовали 90% данных сканирования, чтобы научить машину устанавливать связь между набором данных фМРТ и оригинальными образами. Оставшуюся часть они оставили для проверки — подавали на вход системе для расшифровки. Результаты оказались лучше, чем у любых других алгоритмов. И фактически это еще один шаг к тому, чтобы даже не читать, а уже видеть человеческие мысли.
Новая технология позволит электромобилям проезжать 1000 км
Кейсы
При своем функционировании мозг предоставляет «сервисную» информацию: приток крови к определенным областям, электрическая активность. Долгое время информация была полезна лишь медикам, по ней можно они определяли правильность функционирования мозга. Но современные методы позволяют выделить из нее гораздо больше. Так на конференции IEEE по биометрии ученые из Техаса заявили, что даже привычная всем ЭЭГ может рассказать о человеке чуть больше, чем от нее ожидают. С помощью машинного обучения и ЭЭГ ученым удалось определить людей с алкогольной зависимостью.