Нейросеть создает исллюзию, что актеры в фильме произносят реплики из дубляжа, а не из оригинальной звуковой дорожки.
Как заявляют авторы, их разработка сохраняет все нюансы и эмоции исходного материала. TrueSync замещает лицо актера дипфейком с учетом оригинальной мимики, чтобы не потерять тонкости игры актера. Создатели утверждают, что при таком подходе сохраняются оригинальные эмоции.
На сайте компании Flawless опубликованы отрывки из фильмов, обработанные с помощью дипфейк-технологий, например, герой Тома Хэнкса из «Форреста Гампа» «заговорил» на японском языке.
Программный пакет TrueSync с помощью нейросетей синтезирует движения губ и лицевых мышц актеров.
Дипфейки уже использовали, чтобы «воскресить» ушедших из жизни музыкантов. Теперь применение технологии пригодилось в кинематографе. Авторы разработки отмечают, что пока технология неидеальна. Все-таки в некоторых моментах отчетливо видны недочеты работы дипфейка. Кроме того, появление технологии ставит несколько вопросов. Например, насколько фильм с таким «визуальным дубляжом» близок изначальной задумке режиссера или не обесценивает ли дипфейк игру актеров оригинального фильма.
Есть очень веские причины для беспокойства по поводу использования искусственного интеллекта и инструментов на базе нейронных сетей для манипулирования кадрами и видео. Легко сфабриковать ситуации, которых на самом деле никогда не было, а также заявления и действия публичных лиц. Но эти инструменты также обладают захватывающим потенциалом и для других целей, например, для того, чтобы сделать кинопроизводство более доступным.
Ранее в соцсети TikTok появились реалистичные дипфейк-видео с Томом Крузом. Тогда они смутили поклонников актера — отличить его от «дублера» было практически невозможно. Также в США с помощью подобных технологий «воскресили» погибшего после школьной стрельбы подростка.
Читать далее
Ученые показали, как черная дыра разрывает звезду
Илон Маск: первые туристы на Марс погибнут
Ученые провели крупнейшее генетическое исследование сверхдолгожителей