Инженеры из университета Цинхуа создали приложение, способное на основе искусственного интеллекта распознавать беззвучную речь по движениям губ. Описание работы опубликовано в онлайн-библиотеке ACM.
В процессе распознавания речи пользователя по губам система отслеживает 20 контрольных точек, расположенных как на всей поверхности губ, так и в уголках рта. Также нейросеть анализирует степень открытости рта.
Сейчас сервис работает только в версии для персонального компьютера, а в ближайшее время разработчики адаптируют его для iOS и Android. Приложение способно распознавать 44 команды, в числе которых — включение и выключение WiFi, копирование или выделение текста и другие. В будущем разработка поможет глухонемым людям пользоваться голосовыми помощниками, считают исследователи.
Российские инженеры заняли третье место на конкурсе алгоритмов распознавания речи
Новости
Ранее сообщалось, что хакеры могут взломать голосовые помощники с помощью неразличимых для слуха человека звуков. Такие звуки могут транслироваться по телевидению или радио и маскироваться под привычные — например, под пение птиц.