Кейсы 26 апреля 2016

Перчатки SignAloud преобразуют язык жестов в речь

Далее

Изобретение студентов Вашингтонского университета позволит слабослышащим людям наладить коммуникацию. За свою разработку Навид Азоди и Томас Прайор получили премию Лемельсона и грант в размере $10 000.

Перчатки SignAloud оснащены датчиками движения, которые определяют положение рук и пальцев. Эта информация передается по Bluetooth на компьютер, который анализирует ее и сопоставляет с базой данных жестов. После этого жестовый язык преобразуется в звучащую речь или текст.

Система строится на машинном обучении и пока работает только с американским жестовым языком (амсленом) и английским.

«Большинство преобразователей жестового языка мало применимы в повседневной жизни. Для работы с одними нужно записывать видео, для работы с другими все тело и руки должны быть покрыты датчиками. Наши перчатки легкие, компактные и эргономичные настолько, что их можно сравнить со слуховым аппаратом или контактными линзами», — рассказал один из разработчиков Томас Прайор.

Перчатки ориентированы в первую очередь на людей с нарушениями слуха и на тех, кто изучает амслен. Но студенты считают, что SignAloud могут также использоваться для оценки состояния пациентов после инсульта и для жестового управления в виртуальной реальности.

За свою разработку студенты получили престижную премию Лемельсона.

Как пишет Daily Mail, эксперименты с подобными технологиями проводились и прежде. Так в 2012 году украинские ученые получили главный приз в чемпионате Microsoft Imagine Cup за похожую систему преобразования жестов в речь. Перчатки EnableTalk были также оснащены датчиками, а для процесса преобразования использовалось мобильное устройство.

Кроме того, недавно группа ученых из Новой Зеландии и Малайзии представила разработку, которая преобразует малайзийский жестовый язык в текст на разных языках.

SignAloud