Кейсы 21 марта 2016

Face2Face: видеозахват мимики в реальном времени

Далее

Совместная, германо-американская команда ученых показала возможности новой программы Face2Face, которая с помощью обычной веб-камеры заставляет любого человека на видео произносить то, что придет вам на ум.

Вдобавок к чрезвычайно точному захвату движения лица актера и перенесения его на персонажа видео, программа позволяет создавать реалистичную мимику, включая индивидуальные особенности, такие как движение губ и бровей.

Пока технология находится в стадии разработки. «К сожалению, программа не доступна широкой публике — это всего лишь исследовательский проект, — говорит один из соавторов Маттиас Нисснер. — Однако, мы думаем о ее коммерциализации, принимая во внимание огромное количество отзывов».

Для демонстрации возможностей системы команда воспользовалась видео с выступлениями кандидата в президенты Дональда Трампа, президентов Обамы, Буша-младшего и Путина. Программа превратила их в говорящих кукол, повторявших движения, фразы и мимику актера.

Подобные спецэффекты и раньше создавались в программах редактирования видео, но возможность делать это в реальном времени — а также избежать ловушек «зловещей долины» — может навсегда изменить подход к созданию реалистичных персонажей кино и видеоигр.

Стоит также отметить, что программу разработала команда, в которую вошли ученые из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена-Нюрнберга.