ИИ научили определять, что видит человек, на основе «чтения мыслей»

Разработана система искусственного интеллекта, реконструирующая изображения, которые видел человек, на основе активности его мозга. О разработке сообщает Science.

Нейробиологи до сих пор до конца не понимают весь процесс того, как мозг преобразует визуальную информацию в мысли. Но это не мешает ИИ имитировать этот процесс. Японские ученые объединили алгоритмы, преобразующие текст в изображение, и систему анализа мозговой активности. ИИ Stable Diffusion сканирует мозг человека и воссоздает относительно реалистичные версии изображений, которые он видел.

Оригинальные изображения (сверху) и снимки, полученные в результате распознавания мозговой активности Stable Diffusion. Изображение: Yu Takagi, Shinji Nishimoto, bioRxiv

Это не первое исследование, в котором ученые использовали ИИ для чтения снимков мозга и воссоздания изображений. Но в новой работе они добавили дополнительный этап: при обучении ИИ используются текстовые описания фотографий. В результате алгоритм анализирует не только мозговую активность, связанную с просмотром изображений, но и текстовое описание. Это напоминает работу популярных алгоритмов, таких как DALL-E 2 и Midjourney.

Для распознавания образов Stable Diffusion использует данные сканирования мозга с помощью функциональной магнитно-резонансной томографии (фМРТ), собранные при просмотре различных изображений. Когда люди смотрят на фотографию, височные доли анализируют информацию о содержании изображения (людях, объектах или декорациях), а затылочные — о расположении и перспективе, такую как масштаб и положение содержимого.

Для обучения ИИ исследователи использовали набор картинок и паттерны мозговой активности, собранные при их просмотре. При простом обучении алгоритм эффективно воссоздавал расположение объектов и перспективу просматриваемых фотографий, но вместо реальных объектов в центре композиции рисовал абстрактные фигуры. Но, после того как ученые добавили текстовые описания к фотографиям, использованным при обучении, качество сгенерированных образов существенно возросло.

Оригинальное изображение (слева) и образы, полученные при использовании алгоритмов, обученных на визуальных (z), текстовых (c) и комбинированных данных (справа). Изображение: Yu Takagi, Shinji Nishimoto, bioRxiv

Исследователи отмечают, что комбинация текстовых и визуальных данных при обучении позволяет существенно сократить объем данных, которые необходимо использовать для обучения модели. В то же время они отмечают, что пока ИИ был обучен и протестирован только на данных фМРТ для четырех человек. Вероятно, потребуется выборка от большого количества людей для создания универсального алгоритма.


Читать далее:

Назван витамин, который защищает мозг от слабоумия

Назван тип бессонницы, который снижает риск слабоумия. Но почему — неизвестно

Выяснилось, какие мужчины наиболее плодовиты: их сперма на 50% лучше, чем у остальных

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Подросток установил шесть рекордов по математике за день: в чем секрет
Новости
Эту звезду искали 40 лет: она состоит из очень необычной материи
Новости
Найдена связь между взрывом сверхновой и эволюции жизни на Земле
Новости
«Случайность маловероятна»: в Балтике поврежден интернет-кабель
Новости
SpaceX запустит телескоп для защиты Земли: как он будет работать
Новости
Ученые создают датчики, похожие на усики комаров, для обнаружения землетрясений
Наука
ИИ диагностирует диабет, ВИЧ и COVID по одному образцу крови
Наука
Китайские генетики создали «рис для укрепления здоровья сердечной системы»
Наука
Тяжелое генетическое заболевание вылечили до рождения в утробе матери
Наука
Высокоскоростная съемка показала, что происходит с каплей при падении в бассейн
Наука
В России создали ИИ-платформу для ускоренной разработки лекарств
Иннополис
Физики побили рекорд Китая по удержанию плазмы в искусственном Солнце
Наука
Мертвая галактика посылает мощные радиовсплески: ученые не могут это объяснить  
Космос
«Невозможная» пара звезд-вампиров странно ведет себя в космосе
Космос
В iPhone 16e стоят чипы, которые оказались недостаточно хороши для iPhone 16
Новости
Выяснилось, как темная тема на сайтах влияет на гаджеты
Новости
Ученые впервые создали «пластичный» инопланетный лед
Наука
В каких странах больше боятся замены людей на ИИ, показало исследование
Наука
Мини-землетрясения под ледяным щитом Гренландии могут изменить уровень моря
Наука
Посмотрите, как Blue Ghost летит над обратной стороной Луны
Космос