Инженеры из Университетов Стэнфорда, Макса Планка и Принстона создали на основе алгоритма Deepfake нейросеть, которая позволяет редактировать речь говорящего на видео так же просто, как текст в текстовом редакторе. Об этом говорится в сообщении Стэнфордского университета.
Технология Deepfake (от deep learning — «глубинное обучение» и fake videos — «поддельные видео») работает на основе алгоритмов с открытым кодом, таких как TensorFlow, и обучается по видео с YouTube. Затем система старается подставить лицо выбранного человека к исходному видео с максимальной реалистичностью.
Алгоритм, разработанный учеными, получил название Neural Rendering. Ему требуется около 40 минут, чтобы изучить мимику говорящего на видео и сопоставить форму его лица с каждым фонетическим слогом.
После этого нейросеть составляет 3D-модель лица говорящего и позволяет редактировать то, что он говорит, изменяя при этом мимику спикера.
Исследователи отмечают, что в идеальном мире разработка позволит сократить затраты на пересъемку неудачный дублей. Однако от идеи опубликовать код нейросети ученые отказались — инженеры полагают, что она может использоваться для подстановки в ролики слов и выражений, которых спикер на самом деле не произносил.
Ранее инженеры из Калифорнийского университета и Университета Британской Колумбии разработали нейросеть, которая позволяет виртуальным персонажам обучаться по видео, на которых двигаются люди, — например, по роликам с YouTube.