Перевести звуковую запись в реалистичное видео говорящего человека — та еще задача. Обычно результат легко отличить от оригинала, да и выглядит такое видео несколько жутко, как будто настоящего человека подменили куклой. Прямо как в «Солярисе» Станислава Лема. Тем не менее, исследователи из Университета штата Вашингтон серьезно продвинулись в этом деле и создали вполне реалистичное видео выступления Барака Обамы на основе его реальных аудиозаписей.
Ученые использовали 14 часов еженедельных видеороликов Обамы, которые он записывал, когда был президентом и загрузили их в нейронные сети для обучения. После машинного обучения, программа на основе искусственного интеллекта создала изображения положений рта для каждой фразы, которые потом наложили на другое видео Обамы. Чтобы сделать изображение более реалистичным, система исправляла положение головы, а также внешний вид челюстей. Для этого нужно было всего лишь загрузить несколько кадров Обамы, где его верхние и нижние зубы отчетливо видны.
Программа еще не идеальна, но на видео, выложенным учеными, видно, как мимика становится более реалистичной, через три минуты, через час, семь часов и 14 часов обучения. Команда ученых отмечает, что есть некоторые ошибки, связанные с выравниванием черт лица. Так, у псевдо-Обамы вдруг появлялось два подбородка. Часть мимики пропадала из-за того, что программа не изменяла положения языка при английском звуке «th».
«Через 20-30 лет в США перестанут использовать секс для размножения»
Кейсы
В целом, программа по синхронизации мимики создала более реалистичный образ, чем другие аналоги. The Economist приводит в пример видеоролик Alternative Face v1.1, созданный немецким художником Марио Клингеманном. На видео певица Франсуаза Арди в возрасте 20 с небольшим лет (ей сейчас 73 года) воспроизводит речь Келлиэнн Конуэй — советницы президента США Дональда Трампа. Alternative Face v1.1 создала генеративная нейросеть — система на основе машинного обучения.