Исследователи из компании «Нейроботикс» и Лаборатории нейроробототехники Московского физико-технического института (МФТИ) научились использовать анализ активности мозга для воссоздания изображений, которые видит человек.
Григорий Рашков из исследовательской компании «Нейроботикс» и его коллеги из МФТИ смогли обучить ИИ с помощью видео и записей мозговых волн людей, которые смотрят эти материалы. Они снимали данные о мозге с помощью энцефалограммы (ЭЭГ). Видео, которые просматривали люди, включали в себя выражения лиц, сцены природы и спортсменов, которые разъезжают на водных мотоциклах.
«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек, — отметили в компании. — Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс мозг — компьютер».
Затем ИИ попытался классифицировать и воссоздать видеоматериалы только на основе данных ЭЭГ. В 210 из 234 попыток ИИ успешно классифицировал каждое видео, снабдив его тегами — например, словами «водопады», «экстремальные виды спорта» или «человеческие лица».
Более того, ученые по записанному сигналу ЭЭГ воспроизводили кадры, похожие на те, которые видели люди в момент записи. В 90% случаев им удалось получить кадры, которые совпадали с изначальным видеороликом.