Новая нейросеть создает анимированную 3D-модель лица на основе голоса

Новая программа Audio2Face от Nvidia на основе нейросети анимирует 3D-модель лица только на основе голоса. В бета-версии есть поддержка русского языка.

Программа может генерировать эмоции на 3D-модели головы человека в реальном времени. Все, что требуется для получения анимации — загрузить запись голоса. В зависимости от языка и интонации, стандартная модель меняет выражение лица и артикулирует все, что есть в аудиозаписи.

Программа работает на открытой платформе Nvidia Omniverse. Там можно сделать модель в режиме реального времени. 

На сайте компании для скачивания доступна открытая бета-версия программы. Чтобы воспользоваться программой, нужно загрузить в нее готовую звуковую дорожку или использовать микрофон для записи аудио напрямую. 

Стандартная анимация использует модель персонажа Digital Mark, но ее можно поменять на лицо с любыми другими чертами или даже на животное. 

Разработчики сообщили, что программа распознать множество языков, в том числе и русский, а также разбирается в тональностях. Помимо этого, программа имеет ряд настроек, которые помогут создать более правдоподобные анимации эмоций.

Сейчас программа доступна на английском, французском, итальянском и русском языках. В компании заявили, что Audio2Face позже сможет обрабатывать любые языки.

Читать далее:

Посмотрите на фотографии двух сливающихся галактик, сделанные с разницей в 9 лет

Новый способ доставки вещества заставляет раковые клетки самоуничтожаться

Американские ученые в ходе эксперимента получили рекордный выход энергии

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Больше миллиона Гбит в секунду: японцы побили рекорд скорости передачи данных по оптоволокну
Новости
Хаос во благо: физики создали новый инструмент для квантового мира
Наука
Hugging Face выпустила недорогих человекоподобных роботов с открытым кодом
Новости
Китайский аккумулятор для электромобиля выдержал наезд 36-тонного танка
Новости
Воспитанники детских домов изучат основы работы с нейросетями
Новости
Четвероногий робот из Цюриха научился играть в бадминтон с людьми
Новости
В MIT раскрыли механизм набора веса из-за жирной пищи и как обратить его вспять
Наука
60 000 лет рядом: ученые выяснили, кто стал первым паразитом человека
Наука
Ректора Университета Иннополис избрали членом-корреспондентом РАН
Иннополис
В Корее робопса научили паркуру и бегу по стенам: посмотрите, что он может
Новости
Древний череп «человека-муравья» нашли в Аргентине
Наука
На селфи марсохода попал неожиданный объект: его заметили не сразу
Космос
Посмотрите на двух морских коньков, которых застукали за «поцелуем» в океане
Наука
Почти 10 000 роутеров Asus тайно заразили: как проверить свой и защититься
Новости
Ракета будет доставлять товары с AliExpress за час по всему миру: ее испытали в Китае
Новости
В России пригрозили «душить» иностранные сервисы: кто в опасности
Новости
Boston Dynamics усовершенствовала систему восприятия гуманоидного робота Atlas
Новости
Наклейка на лоб анализирует мозговые волны и предсказывает переутомление
Наука
Посмотрите на робота-трансформера, который меняет форму прямо в полете
Новости
Китай отправил миссию за образцами горных пород с квазиспутника Земли
Космос