Сложность воссоздания объемного образа предмета и человека по фотографии заключается в том, что на начальном этапе существуют данные только с одного ракурса. Существующие алгоритмы способны создать либо неточную модель с сохранением цвета снимка, либо точную с потерей цвета.
Теперь исследователям удалось создать нейросеть, которая на основе 2D-снимка создает трехмерное изображение, сохраняя пропорции человека и особенности фотографии, такие как цвет и фон.
Нейросеть обучалась на датасете из 491 модели, созданной на основе базы RenderPeople — это набор высококачественных 3D-моделей людей, полученных с помощью фотограмметрических сканеров.
Ранее разработчики из Google Research научили нейросеть дорисовывать фотографию по одному небольшому фрагменту. В основе искусственного интеллекта лежат принципы работы генеративно-состязательной нейросети.