Новая программа Audio2Face от Nvidia на основе нейросети анимирует 3D-модель лица только на основе голоса. В бета-версии есть поддержка русского языка.
Программа может генерировать эмоции на 3D-модели головы человека в реальном времени. Все, что требуется для получения анимации — загрузить запись голоса. В зависимости от языка и интонации, стандартная модель меняет выражение лица и артикулирует все, что есть в аудиозаписи.
Программа работает на открытой платформе Nvidia Omniverse. Там можно сделать модель в режиме реального времени.
На сайте компании для скачивания доступна открытая бета-версия программы. Чтобы воспользоваться программой, нужно загрузить в нее готовую звуковую дорожку или использовать микрофон для записи аудио напрямую.
Стандартная анимация использует модель персонажа Digital Mark, но ее можно поменять на лицо с любыми другими чертами или даже на животное.
Разработчики сообщили, что программа распознать множество языков, в том числе и русский, а также разбирается в тональностях. Помимо этого, программа имеет ряд настроек, которые помогут создать более правдоподобные анимации эмоций.
Сейчас программа доступна на английском, французском, итальянском и русском языках. В компании заявили, что Audio2Face позже сможет обрабатывать любые языки.
Читать далее:
Посмотрите на фотографии двух сливающихся галактик, сделанные с разницей в 9 лет
Новый способ доставки вещества заставляет раковые клетки самоуничтожаться
Американские ученые в ходе эксперимента получили рекордный выход энергии