Система распознавания движений пальцев уже существует на Kinect, но слишком часто ошибается. Достаточно покрутить рукой или сжать ее в кулак, чтобы озадачить программное обеспечение и нарушить процесс распознавания. Новая разработка от Microsoft этой проблемы лишена. По словам ведущего исследователя Microsoft UK Джейми Шоттона, точность технологии настолько высока, что пользователю может показаться, будто его виртуальная рука абсолютно реальна.
В компании разработали виртуальную модель кисти руки на основе опорных координат, собранных с помощью Kinect. В основу системы также лег созданный еще в 40-е годы алгоритм Левенберга-Марквардта, который подсчитывает, где в должны располагаться точки отслеживания для максимального сохранения энергии. Программа использует специальный повторный инициализатор — инструмент, который быстро восстанавливает жест в тех случаях, когда в процессе отслеживания движений произошел сбой.
Полученная система отслеживает движения рук и пальцев быстро и предельно точно, причем практически без задержек. Благодаря этому разработка Microsoft может применяться для управления различными устройствами — от компьютеров до игровых консолей. Особенно актуально это в сфере видеоигр, дизайна и виртуальной реальности.
Пользователи могут видеть собственные руки в виртуальном интерфейсе и даже получать тактильный отклик. Его иллюзию будут создавать звуки, а также некоторые манипуляции — например, соприкосновение пальцев.
Пока что система отслеживания жестов рук и пальцев находится на стадии разработки и еще не доведена до совершенства. Но спектр применения технологии уже можно представить — на подготовленном для презентации концепции видеоролике Microsoft показала несколько сценариев использования системы. Например, можно «захватывать» пальцами цвета для создания рисунков или войти в режим бога в Minecraft и «подать руку помощи» персонажу.