Сначала алгоритм с помощью нейросети Mask R-CNN создает для изображения человека 3D-модель и отделяет его от фона. Затем на основе исходного изображения искусственный интеллект раскрашивает модель и имитирует ее движения — например, модель выбегает за пределы фотографии.
В демонстрационном ролике исследователи показали, как персонажи на различных фотографиях начинают двигаться и выходят за пределы снимка. Например, алгоритм заставил астронавта из первой пилотируемой на Луну миссии «Аполлон» пройти в скафандре по лунному грунту.
Пока модели движутся довольно неуклюже, однако в ближайшее время инженеры планируют доработать алгоритм.
Ранее нейросеть научилась скрещивать изображения шпица и граната и показывать промежуточные стадии процесса.