Технология может заменить камеры в устройствах виртуальной и дополненной реальности. Результаты исследования опубликованы на сайте препринтов arXiv.
Инженеры из Корнеллского университета использовали эхолокацию и искусственный интеллект (ИИ) для отслеживания направления взгляда и выражения лица человека. Миниатюрные датчики, которые поместятся в умные очки или VR-гарнитуры, потребляют гораздо меньше энергии, чем обычные видеокамеры, и могут работать непрерывно.
Ученые разработали две системы: GazeTrak для отслеживания взгляда и EyeEcho для распознавания выражения лица. Обе системы используют динамики и микрофоны, установленные на оправе очков, для генерации неслышимых звуковых волн и анализа отраженных сигналов от глаз или кожи лица.
Для GazeTrak исследователи разместили у центральной части оправы напротив каждого глаза по одному динамику и по четыре микрофона. Устройства генерируют звуки и регистрируют отраженные от глазного яблока и области вокруг глаза волны. Полученные данные передаются ИИ, который непрерывно определяет направление взгляда в реальном времени.
EyeEcho использует один динамика и один микрофон, расположенные рядом с дужками очков и направленных вниз, чтобы регистрировать движения кожи при изменении выражения лица. Отраженные сигналы интерпретирует ИИ.
В виртуальной реальности вам нужно воссоздать в деталях выражение лица и движения взгляда, чтобы вы могли лучше взаимодействовать с другими пользователями.
Ке Ли, соавтор исследования
Разработчики отмечают, что технологии пригодятся не только для виртуальной реальности. Отслеживание взгляда можно использовать, например, вместе с программами для чтения с экрана, чтобы помогать людям со слабым зрением просматривать веб-сайты.
Разработка также подойдет для диагностики и контроля развития нейродегенеративных заболеваний, например, болезни Альцгейера или Паркинсона. Умные очки помогут отслеживать аномальные движения глаз и изменения в мимике лица, чтобы оценить прогрессирование болезней.
Читать далее:
Посмотрите, каким было солнечное затмение из космоса
Назван новый сценарий гибели Земли и Солнечной системы
Посмотрите, что подводный робот нашел на дне Байкала
На обложке: умные очки с эхолокацией. Кадр из видео: Cornell University