Модель на основе искусственного интеллекта (ИИ) научилась создавать фотореалистичные видео сурдопереводчиков. Эти аватары переводят в язык речь в реальном времени и могут улучшить доступ пользователей к десяткам источников.
Бен Сандерс из Университета Суррея (Великобритания), и его коллеги использовали нейронную сеть, которая преобразует разговорную речь в язык жестов. Система SignGAN сопоставляет эти знаки с трехмерной моделью человеческого скелета. Команда обучала ИИ на видео реальных переводчиков языка жестов, научила его создавать фотореалистичное видео на основе изображений.
Ранее в Google придумали модель, которая может считывать язык жестов во время видеозвонков. ИИ может определять «активно говорящего», но игнорирует собеседника, если он просто двигает руками или головой.
Исследователи представили систему обнаружения языка жестов в реальном времени. Она может отличать, когда собеседник пытается сказать что-то или просто двигает телом, головой, руками. Ученые отмечают, что эта задача может показаться легкой для человека, однако ранее такой системы не было ни в одном из сервисов видеозвонков — все они реагируют на любой звук или жест человека.
Читать также
Спутниковые снимки подтвердили, что климат изменяется на Земле неравномерно
Найдено предполагаемое царство исчезнувших хеттов. Что обнаружили археологи?
Квантовые наноалмазы могут повысить точность медицинских тестов