Инженеры из Калифорнийского университета и Университета Британской Колумбии разработали нейросеть, которая позволяет виртуальным персонажам обучаться по видео, на которых двигаются люди, — например, по роликам с YouTube. Об этом говорится в совместном сообщении университетов.
Во время копирования движений алгоритм разбивает каждый кадр на сетку, а затем размечает на ней положение каждого участка тела человека и фиксирует изменение. Затем обработанные данные получает вторая нейросеть, ответственная за виртуального персонажа, — которая пытается повторить движения.
Обе нейросети построены на технологии DeepMimic, разработанной исследователями ранее. Этот алгоритм в процессе обучения повторяет сложные движения человеческой модели.
Нейросеть научилась искать объекты на изображении по голосовому описанию
Идеи
Ранее исследователи из Университета Карнеги — Мелон использовали технологию DeepFakes для создания нейросети, которая может автоматически копировать «стиль» одного человека и передавать его другому на видео.
