В видеозвонках научились определять язык жестов

В Google придумали модель, которая может считывать язык жестов во время видеозвонков. ИИ может определять «активно говорящего», но игнорирует собеседника, если он просто двигает руками или головой.

Исследователи представили систему обнаружения языка жестов в реальном времени. Она может отличать, когда собеседник пытается сказать что-то или просто двигает телом, головой, руками. Ученые отмечают, что эта задача может показаться легкой для человека, однако ранее такой системы не было ни в одном из сервисов видеозвонков — все они реагируют на любой звук или жест человека.

Новая разработка исследователей Google способна делать это с большой эффективностью и небольшими задержками. Пока исследователи отмечают, что определение языка жестов приводят к задержке или ухудшению качества видео, однако эту проблему можно решить, а сама модель осталась легкой и надежной.

Сначала система прогоняет видео через модель под названием PoseNet, которая оценивает положение тела и конечностей в каждом кадре. Упрощенная визуальная информация посылается модели, обученной позиционированию данных из видео людей, использующих язык жестов, и сравнивает изображение с тем, как люди обычно показывают те или иные слова.

Модель правильно определяет слова и выражения с 80% точностью, а с дополнительной оптимизацией может достичь и 91,5%. Учитывая, что обнаружение «активного говорящего» в большинстве сервисов работает с задержками, исследователи считают, что это очень большие цифры.


Читайте также:

Создать термоядерный реактор на Земле реально. Какие будут последствия?

Ледник «Судного дня» оказался опаснее, чем думали ученые. Рассказываем главное

На 3 день болезни большинство больных COVID-19 теряют обоняние и часто страдают насморком

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Почему Вселенная несимметрична: физики приблизились к разгадке тайны
Новости
Посмотрите на обратную сторону спутника Марса: это второе фото в истории
Новости
Это приложение буквально заставляет трогать траву и блокирует соцсети
Новости
Посмотрите на место гибели лунного аппарата «Афина»
Новости
Apple призвала срочно обновить iPhone из-за критической уязвимости  
Новости
В РосНИИРОС опровергли планы ICANN закрыть домен .su  
Новости
Европейские охотники каменного века «путешествовали» по морю в Африку
Наука
Зонд «Гера» сделал снимки спутника Марса на пути к «пострадавшему в ДТП» астероиду
Космос
В испанской пещере нашли «фрагменты лица» древнейшего жителя Западной Европы
Наука
Стартап представил робота, который готовит как шеф-повар лучших ресторанов
Новости
В паровом реакторе впервые зажгли термоядерную плазму
Новости
Работа, написанная ИИ, прошла научное рецензирование, но есть нюансы
Наука
Смертоносные звезды: два массовых вымирания связали со взрывами сверхновых
Космос
Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды
Космос
Физики обнаружили доказательство предсказания Хокинга
Космос
Загадочные радиосигналы впервые обнаружили в глубинах Галактики 
Космос
Этот компьютер решил задачу за 20 минут: суперкомпьютер потратил бы миллион лет
Новости
Названа дата удаления домена .su: что будет с 100 000 сайтов
Новости
Google DeepMind дала роботам ИИ: с ним машинам не надо учиться
Новости
Ученые нашли аномалию во Вселенной: эта галактика не должна была выжить
Космос