Нейросети Apple достаточно видео длиной 10 секунд, чтобы сделать реалистичный дипфейк
Новости 19 августа 2022

Нейросети Apple достаточно видео длиной 10 секунд, чтобы сделать реалистичный дипфейк

Далее

Исходный код программы опубликован в репозитории GitHub.

Компания Apple разработала нейронную сеть NeuMan, которая обучается на коротких видео и может генерировать «дипфейк»-видео.

Для обучения нейросети достаточно видеоролика длиной 10 секунд, снятого движущейся камерой. Программа извлекает из видео изображение человека и окружающей среды.

После этого NeuMan может синтезировать ролики, на которых тот же персонаж будет выполнять разные действия. Например, танцевать, кувыркаться или подпрыгивать. У нового видео меньшая резкость, но в целом они похожи на реальную съемку плохого качества.

Демонстрационное видео: танцующий человек. Видео: Apple

Основное назначение программы, как указывают разработчики, — это приложения для дополненной реальности. Они также отмечают, что для обучения нейросети используется две модели NeRF (нейрорадиального излучения): первая из них изучает человека, а вторая — фон. С помощью этих моделей нейросеть изучает грубую геометрию человека и сцены. А потом может воссоздать ее в новых формах.

Демонстрационное видео: зарядка. Видео: Apple

При этом, как отмечают исследователи, поза, которую принимает человек во время съемки, никак не влияет на качество готового видео.


Читать далее:

Рекордный корональный выброс массы на Бетельгейзе в 400 млрд раз больше солнечного

Мегалодон съедал животное размером с косатку за раз

На Эвересте нашли следы ДНК, которой там быть не должно