Управление техникой без помощи рук быстро стало популярным. Например, в США умные колонки есть у каждого четвертого, а голосовой помощник «Алиса» ежедневно выслушивает более 8 млн обращений. Голосовое управление нашло применение в медицине и управлении транспортом. Однако иногда и голос бывает слишком обременяющим инструментом для взаимодействия с гаджетами. Другое дело — мимика или движение глаз. Студент ВШЭ Денис Шилов придумал устройство Reface, с помощью которого можно отдавать команды телефону, не доставая его и не используя голос, только с помощью движений глаз. Изобретатель рассказал «Хайтеку», откуда возникла эта идея, какие функции будет выполнять гаджет и кто станет его использовать.
Как связаны усталость глаз и частота моргания
Свои первые технические устройства Денис создал еще в школе. В 14 лет он разработал датчики, которые оповещали о наполнении уличных баков для мусора. Еще один проект Денис вместе с другом придумал на хакатоне, который проводился при Правительстве Москвы. Разработчики предложили систему, которая бы оценивала расположение и количество камер наружного видеонаблюдения и исходя из этого составляла безопасный маршрут для человека. Стартап тогда выиграл конкурс на бесплатное попадание в акселератор, но опыта продвижения и анализа рынка у Шилова не было, поэтому проект так и остался в стадии разработки и дальнейшего развития не получил.
Во время обучения в вузе Денис решил заняться разработкой приложения, которое позволило бы управлять смартфоном мимическими движениями без визуального контакта с устройством. Как признается сам Денис, эта идея пришла случайно: «Увидел рекламу гаджета Muse headband, который считывает сигналы мозга по принципу ЭЭГ, и подумал, что это можно как-то использовать, — вспоминает Шилов. — Я купил его около двух с половиной лет назад и написал приложение, которое визуализировало считываемую гаджетом активность. Заметил, что при моргании сигнал меняется. Тогда мне пришла идея создать штуку, которая бы оценивала усталость глаз по частоте морганий».
Исследования компании Nielsen показали, что 70% взрослых американцев жалуются на утомление глаз при работе с цифровыми устройствами. Это связано с тем, что частота морганий снижается в 3-4 раза по сравнению с нормой (20 раз в минуту), и глаза пересыхают. Поэтому офтальмологи во время работы на компьютере советуют чаще моргать, а также делать перерывы каждый час на 5-10 минут и устраивать гимнастику для глаз: смотреть поочередно на близкие и удаленные объекты, совершать круговые движения зрачками, интенсивно моргать.
Убедившись, что приложение работает, и используя Muse как источник данных, с помощью которого можно определять мимические движения, Денис стал думать, каким еще функционалом стоит дополнить разработку. Так родилась мысль создать приспособление для бесконтактного управления телефоном с помощью мимики. Сначала это было черновое приложение, которое просто показывало, что идея жизнеспособна и прибор может работать так, как задумал Денис. С начала 2019 года Шилов уже начал работу над собственным продуктом.
Подмигнуть телефону и включить музыку
В основе Reface лежит нейросеть, которая считывает электрические сигналы с кожи головы и преобразует эти сигналы в команды для телефона или компьютера. Считывание происходит с помощью гарнитуры, которая крепится на голове, и ПО, которое расшифровывает полученную информацию.
В качестве команд для устройства Денис выбрал мимические движения. «Мне надо было сделать так, чтобы гарнитура отличала одно движение от другого. Например, что я посмотрел именно влево, а не вправо», — объясняет он. Для этого разработчик создал нейросеть, которая по электрическим сигналам с головы определяет мимические жесты и преобразует в команду для смартфона.
«Я взял Muse, так как использовал его для софтверного прототипа, написал приложение под Android для удобного нарезания данных. Потом сидел и долго руками размечал эти самые данные. Используя размеченный датасет, обучил на нем нейросеть, — рассказывает студент-изобретатель. — Когда ты надеваешь устройство на голову, с конкретных точек головы (ТР9 и ТР10 на рисунке — “Хайтек”) считывается сигнал. В какие-то моменты времени, когда движения глаз не происходят — это электроэнцефалогия. Когда напрягается челюсть и это влияет на сигнал — уже электромиография. Когда происходят движения глазами — электроокулография. В любом случае механизм считывания от этого не меняется».
Сейчас программа может распознавать следующие сигналы: обычное и интенсивное моргание, взгляд вверх, вниз, влево и вправо, повороты головой вправо и влево последовательно. Если окажется, что устройство неверно интерпретирует сигналы, есть возможность откалибровать его вручную в настройках приложения. Для этого программа попросит поморгать или подвигать глазами, глядя в камеру.
Чтобы исключить ложное срабатывание, каждое действие необходимо повторить не менее трех раз в течение определенного временного интервала — промежуток между ними не должен превышать одну секунду. «Возможно, в дальнейшем список доступных действий расширится, например, появится подмигивание одним глазом или поднятие бровей. Но пока в приоритете доработать устройство и собрать информацию о потребностях потенциальных пользователей», — говорит Денис.
Пользователь может самостоятельно задать последовательность комбинаций. Например, заменить троекратное моргание последовательностью: моргнуть, посмотреть влево, посмотреть вправо. Количество сигналов не ограничено — можно придумать цепочку хоть из десятка действий. Главное — запомнить их и выполнить в нужной последовательности. Человек сам определяет, какое действие будет запускать поданный им сигнал. Например, троекратное моргание включает музыку, а движение глазами вправо-влево-вверх-вниз отклоняет входящий вызов.
Чтобы настроить программу, человек надевает гаджет и открывает приложение на телефоне. При первом запуске понадобится выбрать устройство из списка доступных, в дальнейшем смартфон определяет его автоматически. Пользователь назначает, какие движения будут запускать ту или иную функцию из списка: проигрывание или остановка музыки, ответ на звонок или отклонение вызова и тому подобное.
Наушники, но не совсем
Сначала Денис разработал программу, которую тестировал на гаджете Muse. Но его не устраивало, что пользователи будут скачивать лишь приложение. Разработчик хотел, чтобы у них был стимул покупать девайс, причем не сторонней фирмы, а его собственный. Поэтому Шилов занялся разработкой прототипа. Каркас устройства он напечатал на 3D-принтере Anycubic i3 Mega S, купленном за 30 тыс. рублей из собственных сбережений. А чтобы устройство могло считывать сигналы мозга, Денис установил на него микроконтроллер, электроды и Bluetooth-передатчик.
«Микроконтроллер, модуль, Bluetooth-передатчик я купил в магазине электроники, они стоили в районе 500 рублей за штуку. Всякие другие вещи — сопротивление там, конденсаторы — тоже оказались недорогими», — рассказывает Денис.
В дизайне гаджета от Muse Дениса не устраивали размеры — это достаточно крупный ободок, который крепится на лбу. В повседневном использовании такой девайс будет не слишком удобен, поэтому Reface представляет собой небольшую изогнутую конструкцию, которая крепится на ухо по принципу слухового аппарата, и которая соединяется с ободком на шее. В нем и располагаются микроконтроллер с аккумуляторами. При этом само ухо остается свободным и не мешает пользоваться наушниками, например.
Пока продукт доступен только для телефонов на базе Android, но Денис планирует сделать версию для iOS. Также разработчик сделал приложение для компьютера, которое работает в связке с Android-приложением через Wi-Fi — оно позволяет управлять компьютером: например, перелистывать слайды презентаций, вводить шорткаты (копирование, вставка и тому подобное) и проматывать страницы в браузере или в приложениях.
От смартфона до умного дома
Сейчас Денис собирает обратную связь от потенциальных пользователей и их мнение о желательном функционале устройства. Для этого на официальном сайте есть небольшой анонимный опросник. «Я думал, что основная функция, которая будет нужна людям, — управление смартфоном без помощи рук. Однако в опросе на сайте большинство отметило, что для них важно получать оповещение об утомляемости глаз во время работы. Это когда система фиксирует, что частота морганий изменилась в худшую сторону, она выводит предупреждение о том, что нужно отдохнуть или закапать капли в глаза», — объясняет Шилов.
В дальнейшем разработчик планирует расширить функционал. По его мнению, гаджет будет востребован у людей с ограниченными возможностями. Также Reface потенциально можно использовать для чтения электронных книг, скроллинга страниц в социальных сетях и многих других вещей, но для этого требуется интеграция от разработчиков.
«Мою систему уже сейчас можно использовать и в умном доме. Сейчас, чтобы включить свет, нужно хлопнуть в ладоши. А зачем это делать, если можно просто несколько раз моргнуть? Так даже лучше — дополнительная зарядка для глаз», — рассказывает Денис о перспективах использования его изобретения.
Reface можно использовать в медицинских целях. Например, для отслеживания нервных тиков или количества улыбок. А людей, придерживающихся правильного питания, может заинтересовать возможность посчитать количество глотков воды, сделанных в течение дня. Но все эти возможности пока в стадии разработки — Денис анализирует рынок и изучает, насколько они будут востребованы, а также решает, как сделать так, чтобы гаджет корректно отслеживал нужные показатели.
Над похожими проектами работают известные мировые компании. Технологии управления устройством без помощи рук уже пытаются внедрять в смартфоны, а также использовать при разработке гаджетов нового поколения.
- Google. В смартфон Pixel 4 встроена специальная система распознавания лиц по мимике, позволяющая разблокировать телефон без единого прикосновения. Считывание производят не камеры, а специальные 3D-сенсоры, которые работают даже в темноте и могут распознавать мимику и жесты. Обмануть программу практически невозможно, но она требует обязательного зрительного контакта с устройством.
- Apple. Специальная система Face ID, применяемая в IPhone X, позволяет разблокировать телефон при помощи одного взгляда. Распознавание ведется при помощи камеры, но функционал очень ограничен — только разблокирование экрана и подтверждение бесконтактных платежей.
- Muse. Гаджет Muse презентован в 2014 году. Специальный ободок, надеваемый на голову, считывает мозговую активность и интерпретирует ее, передавая конечный сигнал на устройство. Переданная информация определяет текущее состояние человека. Встроены также дополнительные функции. Например, специальное приложение «Спокойствие» предлагает пользователю выполнить несложные задания, способствующие релаксации и расслаблению мозга. Одновременно можно отслеживать изменение состояние на гаджете.
- Neuralink. Компания Илона Маска разрабатывает специальное устройство, которое фактически считывает мысли человека, интерпретируя создаваемые мозгом волны в команды. Но для этого требуется вживление электродов непосредственно в мозг.
Пока Денис работает над проектом в свободное время. Вместе с ним разработкой занимается его девушка, которая делает дизайн, и друг, которого Денис иногда просит провести код-ревью (инспекция кода для выявления стилистических ошибок и недочетов — «Хайтек»). В ближайших планах — доработать пилотную версию и начать массовое производство гаджетов. Для этого Денис планирует запустить краудфандинг. Если таким образом собрать деньги не получится, Шилов рассмотрит вариант поиска инвесторов, которые согласятся вложить в разработку деньги в обмен на небольшую долю.
«Предварительный опрос показал, что большинство людей готовы заплатить за гаджет 10 000 рублей. Меня эта цена тоже устраивает, поэтому, скорее всего, именно столько будет стоить устройство», — говорит Денис.
Производство будет зависеть от спроса на продукт. «Пока я не планирую запускать собственное производство, рентабельнее договориться с каким-нибудь заводиком», — объясняет Денис. Однако не исключает, что если новинка будет пользоваться популярностью, то он откроет собственное производство.