Инженеры из Вашингтонского университета и Facebook создали нейросеть, которая может оживить изображение человека на двухмерной фотографии, заставив его двигаться. Описание работы опубликовано в онлайн-библиотеке arXiv.org.
Сначала алгоритм с помощью нейросети Mask R-CNN создает для изображения человека 3D-модель и отделяет его от фона. Затем на основе исходного изображения искусственный интеллект раскрашивает модель и имитирует ее движения — например, модель выбегает за пределы фотографии.
В демонстрационном ролике исследователи показали, как персонажи на различных фотографиях начинают двигаться и выходят за пределы снимка. Например, алгоритм заставил астронавта из первой пилотируемой на Луну миссии «Аполлон» пройти в скафандре по лунному грунту.
Пока модели движутся довольно неуклюже, однако в ближайшее время инженеры планируют доработать алгоритм.
Ранее нейросеть научилась скрещивать изображения шпица и граната и показывать промежуточные стадии процесса.