Очки с ИИ научили «читать по губам» без использования камеры

Инженеры создали систему распознавания речи на основе мимических движений, которая работает как минисонар (эхолокатор). Разработка будет представлена на международной конференции CHI в Германии.

Исследователи из Корнельского университета разработали интерфейс EchoSpeech для распознавания тихой речи, который использует акустическое восприятие и искусственный интеллект для непрерывного распознавания до 31 невокализованной команды на основе движений губ и рта. Обработка информации осуществляется локально на смартфоне, что обеспечивает конфиденциальность данных.

Очки EchoSpeech оснащены парой микрофонов и динамиков, размер которых меньше ластика на конце карандаша, и не используют камеру. Устройство отправляет и улавливает акустические волны, которые показывают изменения динамики лицевых мышц и рта. Алгоритм глубокого обучения анализирует эти эхо-профили в режиме реального времени с точностью около 95%. 

Принцип работы EchoSpeech. Изображение: Ruidong Zhang et al.

Полученные данные передаются через Bluetooth в режиме реального времени на смартфон, обрабатываются и хранятся локально на устройстве. Разработчики сообщают, что EchoSpeech достаточно нескольких минут для обучения для конкретного пользователя.

Для людей, которые не могут говорить, эта технология безмолвной речи может стать отличным голосовым синтезатором. Она может вернуть пациентам их голос.

Жуйдун Чжан, соавтор разработки

Большинство технологий распознавания немой речи ограничены избранным набором предопределенных команд и требуют, чтобы пользователь и его собеседник смотрели в камеру или носили ее. Это существенно затрудняет возможности применения таких устройств. Кроме того, большой поток данных требует обработки в облаке, что нарушает конфиденциальность пользователей.

В своем нынешнем виде EchoSpeech можно использовать для общения с другими через смартфон в местах, где речь неудобна или неуместна, например, в шумном ресторане или тихой библиотеке. Бесшумный речевой интерфейс также можно использовать в паре со стилусом и программным обеспечением для проектирования, таким как САПР, практически исключая необходимость в клавиатуре и мыши, добавляют разработчики.


Читать далее:

Ученые выяснили природу странных радиосигналов с планеты, похожей на Землю

Красный ореол вспыхнул над Италией. Теперь его природу объяснили

«Уэбб» нашел самую старую черную дыру во Вселенной

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Посмотрите, как притягиваются одноименно заряженные частицы
Наука
Наша Вселенная прибыла из другого мира: теория мироздания оказалась неверна
Космос
Появилась безопасная альтернатива препаратам от диабета и ожирения
Наука
Посмотрите на миллионы звезд и 2000 астероидов в беспрецедентном качестве
Космос
Облик древнего существа впервые восстановили в лаборатории: ему 580 млн лет
Наука
Спрос на специалистов по безопасности ИИ в России вырос в четыре раза
Новости
Опасный астероид может столкнуться с Луной вместо Земли: это угрожает спутникам
Космос
Строение перьев совы скопировали для разработки универсальной шумоизоляции
Наука
Популярный антидепрессант нарушил созревание половых клеток у мышей
Наука
На орбиту впервые отправили квантовый компьютер
Космос
Нейроморфный процессор «Алтай»: будущее ИИ по-русски
Технологии
Бактерии превращают пластиковый мусор в парацетамол
Наука
Японская ispace назвала причину второй неудачи при посадке на Луну
Космос
Из рисовой бумаги можно создать мягких роботов, которые разлагаются за месяц
Новости
Физик предложил заменить пространство-время трехмерным временем
Наука
Антропологи выяснили, почему только одна миграция людей из Африки была успешной
Наука
Токсичную плесень из древних гробниц превратили в противораковое лекарство
Наука
Найдена гигантская нить в космосе: она соединяет четыре скопления галактик
Космос
В Китае установили мировой рекорд: 11 787 дронов создали световое шоу
Новости
Вирус герпеса перестраивает геном человека, но есть способ его остановить
Наука