Во время копирования движений алгоритм разбивает каждый кадр на сетку, а затем размечает на ней положение каждого участка тела человека и фиксирует изменение. Затем обработанные данные получает вторая нейросеть, ответственная за виртуального персонажа, — которая пытается повторить движения.
Обе нейросети построены на технологии DeepMimic, разработанной исследователями ранее. Этот алгоритм в процессе обучения повторяет сложные движения человеческой модели.
Нейросеть научилась искать объекты на изображении по голосовому описанию
Идеи
Ранее исследователи из Университета Карнеги — Мелон использовали технологию DeepFakes для создания нейросети, которая может автоматически копировать «стиль» одного человека и передавать его другому на видео.