Перчатки SignAloud оснащены датчиками движения, которые определяют положение рук и пальцев. Эта информация передается по Bluetooth на компьютер, который анализирует ее и сопоставляет с базой данных жестов. После этого жестовый язык преобразуется в звучащую речь или текст.
Система строится на машинном обучении и пока работает только с американским жестовым языком (амсленом) и английским.
«Большинство преобразователей жестового языка мало применимы в повседневной жизни. Для работы с одними нужно записывать видео, для работы с другими все тело и руки должны быть покрыты датчиками. Наши перчатки легкие, компактные и эргономичные настолько, что их можно сравнить со слуховым аппаратом или контактными линзами», — рассказал один из разработчиков Томас Прайор.
Перчатки ориентированы в первую очередь на людей с нарушениями слуха и на тех, кто изучает амслен. Но студенты считают, что SignAloud могут также использоваться для оценки состояния пациентов после инсульта и для жестового управления в виртуальной реальности.
За свою разработку студенты получили престижную премию Лемельсона.
Как пишет Daily Mail, эксперименты с подобными технологиями проводились и прежде. Так в 2012 году украинские ученые получили главный приз в чемпионате Microsoft Imagine Cup за похожую систему преобразования жестов в речь. Перчатки EnableTalk были также оснащены датчиками, а для процесса преобразования использовалось мобильное устройство.
Кроме того, недавно группа ученых из Новой Зеландии и Малайзии представила разработку, которая преобразует малайзийский жестовый язык в текст на разных языках.
