В последние годы компьютерная анимация животных и людей становится все более детализированной и реалистичной. Но в этой области все еще есть куда расти: важно правильно сочетать ряд аудио- и видеоэлементов. Именно в этом направлении продвинулись авторы новой работы.
Новую разработку можно использовать, чтобы создать реалистичный виртуальный аватар, цифрового помощника или анимированный фильм.
Чтобы человек правильно воспринимал аватар или персонажа, тот должен быть реалистичным. Важно правильно синхронизировать движение губ, речь, моргание, движения головы и другие мимические особенности.
Броджешвар Бхоумик, один из авторов работы
Большинство существующих речевых методов создания анимации лица сосредоточены на обеспечении хорошей синхронизации между движениями губ речью, а также на правильном моргании.
Ранее авторы новой работы создали архитектуру на основе генеративной состязательной сети (GAN), которая генерирует анимацию говорящих лиц. Метод был многообещающим, но он работал только в том случае, если голова говорящего не двигалась.
Теперь мы разработали полный алгоритм для создания реалистичной анимации лица, основанный на речи. Происходит синхронизация губ, лицо естественно моргает и двигает головой.
Текст исследования
Новая модель эффективно генерирует движения головы для анимированных говорящих лиц. Модель также сделана на основе GAN — это класс алгоритмов машинного обучения, который оказался перспективным для создания искусственного контента.
Авторы оценили свою модель на основе ряда эталокнных наборов данных, они сравнивали ее производительность с современными методами, разработанными в прошлом. В результате выяснилось, что алгоритм может создавать очень убедительную анимацию с отличной синхронизацией губ, естественным морганием глаз и с согласованными с речью движениями головы.
Читать далее:
Физики предложили новую теорию, объясняющую массу бозона Хиггса
Омикрон и дети: как болеют новым штаммом самые маленькие и на что обратить внимание
Посмотрите на летающий мотоцикл из Японии. Он стоит $777 000 и летает 40 минут