Новая нейросеть создает анимированную 3D-модель лица на основе голоса

Новая программа Audio2Face от Nvidia на основе нейросети анимирует 3D-модель лица только на основе голоса. В бета-версии есть поддержка русского языка.

Программа может генерировать эмоции на 3D-модели головы человека в реальном времени. Все, что требуется для получения анимации — загрузить запись голоса. В зависимости от языка и интонации, стандартная модель меняет выражение лица и артикулирует все, что есть в аудиозаписи.

Программа работает на открытой платформе Nvidia Omniverse. Там можно сделать модель в режиме реального времени. 

На сайте компании для скачивания доступна открытая бета-версия программы. Чтобы воспользоваться программой, нужно загрузить в нее готовую звуковую дорожку или использовать микрофон для записи аудио напрямую. 

Стандартная анимация использует модель персонажа Digital Mark, но ее можно поменять на лицо с любыми другими чертами или даже на животное. 

Разработчики сообщили, что программа распознать множество языков, в том числе и русский, а также разбирается в тональностях. Помимо этого, программа имеет ряд настроек, которые помогут создать более правдоподобные анимации эмоций.

Сейчас программа доступна на английском, французском, итальянском и русском языках. В компании заявили, что Audio2Face позже сможет обрабатывать любые языки.

Читать далее:

Посмотрите на фотографии двух сливающихся галактик, сделанные с разницей в 9 лет

Новый способ доставки вещества заставляет раковые клетки самоуничтожаться

Американские ученые в ходе эксперимента получили рекордный выход энергии

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Обнаружено самое далекое мини-гало: радиосигнал прошел 10 млрд световых лет
Космос
Товары для взрослых начнут продавать онлайн по биометрии
Новости
Две трети абитуриентов выбирают ИИ как приоритетное ИТ-направление
Наука
Тираннозавр был не таким, как в фильмах, рассказывает палеонтолог
Наука
Google запустил ИИ-приложение для виртуальной примерки одежды
Новости
В России создали ИИ для защиты памятников от разрушения при строительстве
Новости
Галактику Андромеды показали такой, какой ее еще не видели
Космос
Минспорт требует от киберспортсменов бег и отжимания: новый стандарт вызвал споры
Новости
AAEON выпустила самый компактный одноплатный компьютер с чипами Intel Core 13-го поколения
Наука
Этот паразит годами незаметно поедает мозг: названы главные признаки
Наука
Посмотрите на редкое фото Сатурна: это затмение не увидеть еще 15 лет
Космос
Старые смартфоны превратили в подводные центры обработки данных
Новости
Телескоп в Антарктиде зафиксировал первый свет Вселенной с рекордной точностью
Космос
Орангутаны тоже спят сиесту: днем приматы компенсируют ночной недосып
Наука
Искусственный интеллект науился писать код для компьютерных чипов
Новости
Кофеин активирует механизм, который замедляет старение в клетках
Наука
Археологи повторили путешествие древних людей на каноэ каменного века
Наука
Как правильно мыть голову летом: это важно для аллергиков
Наука
В России в 2025 году появятся шесть новых университетских стартап-студий
Новости
«Броня для голоса»: новая технология защищает от кражи голосовой биометрии
Новости