Авторы новой работы разработали технологию, которая считывает жесты рук и на основе них выполняет команды.
Новая система называется Typealike, она использует обычную веб-камеру ноутбука. Программа распознает движения рук пользователя, которые находятся рядом с клавиатурой, и предлагает операции, основанные на различных положениях рук.
Пользователь может, например, положить правую руку большим пальцем вверх рядом с клавиатурой, и программа распознает это как просьбу увеличить громкость. Различные жесты и комбинации жестов можно запрограммировать для выполнения широкого спектра операций.
Инновация в области взаимодействия человека и компьютера направлены на то, чтобы сделать пользовательский интерфейс более быстрым и плавным. Поэтому исчезнет потребность использовать сочетания клавиш или работать с мышью и трекпадом.
Мы используем веб-камеру. Она направлена на ваше лицо, но большинство взаимодействий исходит от рук. Поэтому мы придумали использовать веб-камеру, чтобы улавливать жесты рук.
Налин Чиббер, выпускник магистратуры Школы компьютерных наук Университета Ватерлоо в Черитоне
В результате исследователи создали небольшое механическое приспособление, которое сосредоточивает веб-камеру на руках. Затем они разработали программное обеспечение, которое может понимать жесты рук в различных условиях. Команда использовала методы машинного обучения.
Команда создала базу данных с жестами рук от десятков добровольцев-исследователей. Они также провели тесты и опросы, чтобы понять, как сделать программу максимально функциональной и универсальной.
Читать далее
В Китае термоядерный реактор разогрели в 5 раз сильнее Солнца