Эхолокатор в умных очках отслеживает взгляд и выражение лица

Технология может заменить камеры в устройствах виртуальной и дополненной реальности. Результаты исследования опубликованы на сайте препринтов arXiv.

Инженеры из Корнеллского университета использовали эхолокацию и искусственный интеллект (ИИ) для отслеживания направления взгляда и выражения лица человека. Миниатюрные датчики, которые поместятся в умные очки или VR-гарнитуры, потребляют гораздо меньше энергии, чем обычные видеокамеры, и могут работать непрерывно.

Ученые разработали две системы: GazeTrak для отслеживания взгляда и EyeEcho для распознавания выражения лица. Обе системы используют динамики и микрофоны, установленные на оправе очков, для генерации неслышимых звуковых волн и анализа отраженных сигналов от глаз или кожи лица.

https://hightech.fm/wp-content/uploads/2024/04/ai-powered-sonar-on-sm.mp4
Умные очки с эхолокацией. Видео: Cornell University

Для GazeTrak исследователи разместили у центральной части оправы напротив каждого глаза по одному динамику и по четыре микрофона. Устройства генерируют звуки и регистрируют отраженные от глазного яблока и области вокруг глаза волны. Полученные данные передаются ИИ, который непрерывно определяет направление взгляда в реальном времени.

EyeEcho использует один динамика и один микрофон, расположенные рядом с дужками очков и направленных вниз, чтобы регистрировать движения кожи при изменении выражения лица. Отраженные сигналы интерпретирует ИИ.

В виртуальной реальности вам нужно воссоздать в деталях выражение лица и движения взгляда, чтобы вы могли лучше взаимодействовать с другими пользователями.

Ке Ли, соавтор исследования

Разработчики отмечают, что технологии пригодятся не только для виртуальной реальности. Отслеживание взгляда можно использовать, например, вместе с программами для чтения с экрана, чтобы помогать людям со слабым зрением просматривать веб-сайты. 

Разработка также подойдет для диагностики и контроля развития нейродегенеративных заболеваний, например, болезни Альцгейера или Паркинсона. Умные очки помогут отслеживать аномальные движения глаз и изменения в мимике лица, чтобы оценить прогрессирование болезней.


Читать далее:

Посмотрите, каким было солнечное затмение из космоса

Назван новый сценарий гибели Земли и Солнечной системы

Посмотрите, что подводный робот нашел на дне Байкала

На обложке: умные очки с эхолокацией. Кадр из видео: Cornell University

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Больше миллиона Гбит в секунду: японцы побили рекорд скорости передачи данных по оптоволокну
Новости
Хаос во благо: физики создали новый инструмент для квантового мира
Наука
Hugging Face выпустила недорогих человекоподобных роботов с открытым кодом
Новости
Китайский аккумулятор для электромобиля выдержал наезд 36-тонного танка
Новости
Воспитанники детских домов изучат основы работы с нейросетями
Новости
Четвероногий робот из Цюриха научился играть в бадминтон с людьми
Новости
В MIT раскрыли механизм набора веса из-за жирной пищи и как обратить его вспять
Наука
60 000 лет рядом: ученые выяснили, кто стал первым паразитом человека
Наука
Ректора Университета Иннополис избрали членом-корреспондентом РАН
Иннополис
В Корее робопса научили паркуру и бегу по стенам: посмотрите, что он может
Новости
Древний череп «человека-муравья» нашли в Аргентине
Наука
На селфи марсохода попал неожиданный объект: его заметили не сразу
Космос
Посмотрите на двух морских коньков, которых застукали за «поцелуем» в океане
Наука
Почти 10 000 роутеров Asus тайно заразили: как проверить свой и защититься
Новости
Ракета будет доставлять товары с AliExpress за час по всему миру: ее испытали в Китае
Новости
В России пригрозили «душить» иностранные сервисы: кто в опасности
Новости
Boston Dynamics усовершенствовала систему восприятия гуманоидного робота Atlas
Новости
Наклейка на лоб анализирует мозговые волны и предсказывает переутомление
Наука
Посмотрите на робота-трансформера, который меняет форму прямо в полете
Новости
Китай отправил миссию за образцами горных пород с квазиспутника Земли
Космос