Новая нейросеть создает анимированную 3D-модель лица на основе голоса

Новая программа Audio2Face от Nvidia на основе нейросети анимирует 3D-модель лица только на основе голоса. В бета-версии есть поддержка русского языка.

Программа может генерировать эмоции на 3D-модели головы человека в реальном времени. Все, что требуется для получения анимации — загрузить запись голоса. В зависимости от языка и интонации, стандартная модель меняет выражение лица и артикулирует все, что есть в аудиозаписи.

Программа работает на открытой платформе Nvidia Omniverse. Там можно сделать модель в режиме реального времени. 

На сайте компании для скачивания доступна открытая бета-версия программы. Чтобы воспользоваться программой, нужно загрузить в нее готовую звуковую дорожку или использовать микрофон для записи аудио напрямую. 

Стандартная анимация использует модель персонажа Digital Mark, но ее можно поменять на лицо с любыми другими чертами или даже на животное. 

Разработчики сообщили, что программа распознать множество языков, в том числе и русский, а также разбирается в тональностях. Помимо этого, программа имеет ряд настроек, которые помогут создать более правдоподобные анимации эмоций.

Сейчас программа доступна на английском, французском, итальянском и русском языках. В компании заявили, что Audio2Face позже сможет обрабатывать любые языки.

Читать далее:

Посмотрите на фотографии двух сливающихся галактик, сделанные с разницей в 9 лет

Новый способ доставки вещества заставляет раковые клетки самоуничтожаться

Американские ученые в ходе эксперимента получили рекордный выход энергии

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Астрономы сфотографировали «детство Вселенной» до появления галактик
Космос
Прощальные кадры: лунный модуль сфотографировал закат на Луне
Наука
Гены загадочных предков людей повлияли на работу мозга, показало исследование
Наука
В Петербурге открыли лабораторию для создания компьютеров, которые имитируют работу мозга
Наука
Телескоп «Евклид» показал 26 млн галактик: опубликованы первые результаты миссии
Космос
Крошечных морских животных увеличили в пять раз, чтобы рассмотреть их клетки
Наука
В Сеченовском Университете появится «умная» операционная 
Новости
Операторы связи начали заменять китайское оборудование на российское
Новости
В России хотят обязать использование отечественных процессоров для ИИ
Новости
Посмотрите на первого робота-гуманоида Nvidia в действии
Новости
Образцы с обратной стороны Луны показали, какой она была в прошлом
Космос
Морские интернет-кабели научились «прослушивать» на предмет саботажа
Новости
Нового рекорда на термоядерном синтезе добились в России
Наука
Российские ученые разработали материалы для памяти будущего  
Наука
Выяснилось, какие мутации ДНК ускоряют старение  
Наука
«Суперджет» с российскими двигателями ПД-8 впервые поднялся в воздух
Новости
Светочувствительные нановолокна ускорили рост нейронов  
Наука
ChatGPT может «заболеть» тревожностью и депрессией, но есть способ его «успокоить»  
Новости
Москва сократила выбросы углерода на 190 000 тонн благодаря электробусам  
Новости
Игуаны совершили рекордное путешествие миллионы лет назад: они проплыли по океану 8 000 км
Наука