По данным ВОЗ, в мире больше 2 млрд людей с нарушениями зрения. По оценкам организации, к 2050 году более 900 млн людей будут иметь проблемы со слухом. Умные гаджеты расширяют возможности таких людей и помогают им обходиться без посторонней помощи. Один из производителей таких устройств — российская лаборатория «Сенсор-Тех». Она рассказала «Хайтеку» о приборах, их отличиях от зарубежных аналогов и о том, как импланты могут вернуть зрение даже слепым пациентам.
Денис Кулешов — директор лаборатории «Сенсор-Тех».
Александр Попов — главный конструктор «Сенсор-Теха».
Андрей Демчинский — руководитель медицинский проектов «Сенсор-Теха».
Нейротехнологии, снимающие ограничения
По улице идет человек. В одной руке у него белая трость, которой он ощупывает дорогу. В другой — небольшой черный предмет, похожий на видеокамеру. Человек направляет его то перед собой, то по сторонам. Прохожие не знают, что в этот момент в наушнике он слышит подсказки: «Автомобиль, расстояние — 5 метров. Человек, расстояние — 3 метра».
Другой человек приходит в МФЦ. «Здравствуйте», — с улыбкой говорит оператор, и это слово появляется на экране, обращенном к посетителю. Человек улыбается в ответ и начинает вводить на клавиатуре проблему, которую оператор прочитает на мониторе компьютера. Посредник между слабослышащим и окружающим миром — небольшое устройство, преобразующее речь в текст.
Оба прибора разрабатывают и производят в компании «Сенсор-Тех». Ее директор Денис Кулешов начал сотрудничать с организациями для инвалидов еще во время учебы в институте: помогал проводить исследования. Постепенно Денис понял, что хочет работать в этом направлении и заниматься разработками для людей с ограниченными возможностями здоровья. Поэтому когда ему в 2014 году предложили присоединиться к научным исследованиям нового фонда «Со-единение», сразу согласился.
Фонд поддержки слепоглухих «Со-единение» учредили в апреле 2014 года. Занимается социализацией слепоглухих: открывает региональные центры поддержки, создает возможности для трудоустройства, досуга и творческой самореализации; оказывает юридическую, психологическую и адресную помощь.
Фонд аккумулировал разные проекты, в том числе молодежные и научные, связанные с вопросами слепоглухоты, в которых Денис принимал участие. «В какой-то момент решили, что гораздо эффективнее и правильнее будет развивать это в формате отдельной лаборатории, которая профильно занимается этими вопросами», — вспоминает Кулешов.
Нюансы бытового приборостроения
В 2017 году появилась лаборатория «Сенсор-Тех», учредителем которой стал фонд «Со-единение». Сразу началась работа над созданием гаджетов для слабослышащих и незрячих. На это выделили грант Национальной технологической инициативы в рамках дорожной карты «Нейронет».
Условием получения гранта было софинансирование проекта: 70% выделял НТИ, остальные деньги разработчики должны были найти сами. Недостающие 30% предоставил фонд «Со-единение».
Работу лаборатории пришлось выстраивать с нуля: сформировали конструкторское бюро и опытное производство, где собирали прототипы приборов. Первая проблема, с которой столкнулись разработчики, — отсутствие опыта создания бытовых приборов. Их предыдущий опыт в части приборостроения в основном был связан с оборонной сферой.
Первый прототип устройства для незрячих оказался слишком громоздким и неудобным в использовании. Получив обратную связь от пользователей, разработчики его серьезно трансформировали. Нужно было сделать так, чтобы устройство работало без перебоев, было удобным и понятным в использовании.
Сейчас в лаборатории разработали устройство для незрячих и слабовидящих — «Робин» и прибор для людей с инвалидностью по слуху — «Чарли».
«Рынок девайсов для инвалидов не очень большой, все производство мелкосерийное и дорогое», — говорит Денис. Этим обусловлена достаточно высокая цена приборов: «Робин» стоит 150 тыс. рублей, «Чарли» — 195 тыс. рублей. Поэтому производители ведут переговоры с правительством, чтобы их изобретения включили в список средств технической реабилитации — в этом случае затраты на покупку компенсирует государство.
Скажи, что ты видишь
Внешне «Робин» напоминает портативную камеру. Сенсоры сканируют предметы, а искусственный интеллект определяет, что перед пользователем — машина, стол, компьютер, другой человек. Всего в памяти устройства более 50 объектов. Если загрузить туда фотографии, оно узнает человека и назовет его имя. Чтобы «Робином» пользоваться в темное время суток, в него встроили фонарик. При этом гаджет не только называет предмет, но и оценивает расстояние до него.
Первый релиз «Робина» оказался неудачным. Для того, чтобы прибор определил объект, нужно было навести устройство, нажать кнопку и подождать не менее 2 секунд. Но оказалось, что пользователям это неудобно: сразу после нажатия кнопки они начинали водить прибором из стороны в сторону. Из-за этого информация, озвученная «Робином», оказывалась неактуальной: он описывал объекты, которые распознал до того, как его переместили.
«Мы знали, как помочь устройству и куда его направить, а у людей такого опыта не было. Из-за этого им казалось, что прибор работает плохо», — объясняет Александр. Тогда разработчики решили поменять принцип работы. Время обратной связи от прибора сократилось до секунды, при этом «Робин» работал только тогда, когда была нажата кнопка. Такой вариант для пользователей оказался понятнее и проще.
«Прямых конкурентов, то есть приборов с такими же функциями, на рынке нет. Но есть аналоги, например, OrCam», — говорит Александр.
OrCam MyEye и OrCam MyReader — портативные устройства искусственного зрения, которые производит одноименная израильская компания. Представляют собой небольшую беспроводную камеру, которую можно крепить на дужку очков. Первое устройство считывает печатный и цифровой текст, штрихкоды товаров, распознает лица и озвучивает полученную информацию. Второе используется только для чтения текстов. Гаджеты поддерживают 17 языков и не требуют подключения к интернету.
Голос превращается в текст
«Чарли» предназначен для людей с проблемами со слухом. В его разработке участвовали люди с опытом преподавания для слабослышащих. Поэтому разработчики знали о трудностях, которые возникают в процессе коммуникации и запросах обеих сторон.
Устройство улавливает речь на расстоянии 2 м и выводит ее на экран в виде текста. Гаджетом могут пользоваться и слепоглухие — для этого к «Чарли» подключается дисплей Брайля. Он позволяет прочитать информацию пальцами и ввести ответ.
Шрифт Брайля разработан в 1824 году. Это система выпуклых точек и пустот между ними. Каждый символ кодируется с помощью решетки 3х2. Комбинация точек внутри каждой ячейки соответствует букве или знаку препинания. Если в тексте происходит смена письменности, например, с латиницы на кириллицу, это также обозначается специальным символом.
Разработчики говорят, что аналогов «Чарли» на рынке также нет. Многочисленные программы, которые переводят речь в текст, предназначены преимущественно для взаимодействия человека с компьютером, а не для общения двух людей между собой.
Первая машина, способная распознавать голос, появилась в 50-х годах в стенах Bell Labs. Устройство определяло цифры от нуля до девяти. При этом машина гораздо лучше понимала изобретателя: когда говорил он, точность воспроизведения была около 90%. Речь других людей устройство корректно распознавало лишь в 70–80% случаев.
До 90-х годов распознавание речи строилось на шаблонах: звуковые волны переводились в набор чисел, и результат выводился при совпадении речи с образцом. Поэтому для корректной интерпретации голосовых сигналов требовалось устранить фоновые шумы, говорить медленно и четко.
Первым распознавателем речи, которому не требовались паузы между словами, стал Dragon’s NaturallySpeaking. Он появился в 1997 году и используется до сих пор.
Технологии машинного обучения и ИИ значительно усовершенствовали систему распознавания речи и позволили адаптировать алгоритмы под индивидуальную манеру общения каждого человека. Результатом стало появление голосовых помощников: Google Assistant, Siri от Apple, Alexa от Amazon, «Алиса» от Яндекса. Кроме того, есть специальные приложения, например, ListNote, SpeechNotes, для распознавания речи, перевода голоса в текстовое сообщение. Некоторые приложения, например, Speechlogger, могут даже выполнять синхронный перевод с одного языка на другой.
С помощью «Чарли» собеседники смогут общаться друг с другом, не прибегая к помощи посредника. Кроме этого, устройство можно использовать для дистанционного общения, например, для лекций в вузах или проведения совещаний. Докладчику достаточно положить «Чарли» рядом с собой, а слушателям — подключиться к программе по ссылке. Расшифрованная речь будет выводиться на экран смартфона или компьютера в режиме реального времени.
Увидеть мир заново
Также «Сенсор-Тех» участвует в научных исследованиях, касающихся использования нейротехнологий для возвращения зрения.
Все началось в 2016 году на международной конференции в США. На ней представители фонда «Со-единение» познакомились с американской компанией, занимающейся бионическим зрением. Они договорились о том, чтобы провести в России эксперимент по имплантации незрячим людям бионических чипов.
«Устройство может быть применимо не для всех незрячих, это довольно узкий пул заболеваний, главным образом пигментный ретинит. Особенность в том, что при нем гибнет только один слой клеток, который трансформирует свет в электрический сигнал. Остальные клетки остаются живыми», — объясняет Денис.
Пигментный ретинит — наследственное заболевание, связанное с Х-хромосомой. При этой патологии постепенно разрушаются клетки сетчатки, собирающие изображение и передающие его по зрительному нерву в мозг. Заболевание начинается с потери бокового и ночного зрения и со временем приводит к полной слепоте. Эффективных профилактических мер против пигментного ретинита не существует, как и методов лечения. Имплантация микрочипов пока находится в стадии разработки, также врачи предполагают, что прорывом могут стать генная терапия и лечение стволовыми клетками.
В результате в базах фондов «Со-единение» и «Искусство, наука и спорт» нашли двух человек с нужным диагнозом, у которых не было сопутствующих патологий. В 2017 году импланты установили Григорию Ульянову и Антонине Захарченко. Средства на операцию выделил фонд Алишера Усманова.
Фонд Алишера Усманова «Искусство, наука и спорт» основан в 2006 году. Финансирует образовательные и научные проекты (сотрудничает с МГИМО, МИСиС), поддерживает музеи и театры («Современник», Третьяковская галерея, ансамбль Игоря Моисеева и другие). Также фонд занимается популяризацией здорового образа жизни и организует соревнования, в том числе для людей с ограниченными возможностями.
В ходе операции на сетчатке пациента размещается имплант с электродами. Он связан со специальными очками со встроенной камерой. Информация с камеры передается на микрокомпьютер, который обрабатывает изображение и посылает сигналы в имплант. Электрические импульсы по зрительному нерву передаются в мозг, где формируется картинка.
В импланте 60 электродов, что можно сравнить с картинкой в 60 пикселей — по числу точек, которые стимулирует имплант. С его помощью можно получить изображение только достаточно крупных объектов — окна, двери, стола, автомобиля. Более мелкие предметы могут выпадать из «матрицы», которую образуют электроды, или данных оказывается недостаточно для их идентификации.
Поскольку у пациента нет клеток, отвечающих за цветопередачу, изображение получается черно-белым. Но по сравнению с полной слепотой даже такое ограниченное с точки зрения здорового человека зрение существенно расширяет возможности пациентов. Они могут ориентироваться в пространстве даже в незнакомых условиях без посторонней помощи или дополнительных приспособлений и становятся достаточно самостоятельными.
В «Сенсор-Техе» надеялись, что операция позволит зарегистрировать импланты в России и сделать их доступными в рамках высокотехнологичной медицинской помощи. Но возникла проблема: в Министерстве здравоохранения посчитали, что двух операций недостаточно, чтобы сделать вывод о безопасности имплантатов. Американцы, в свою очередь, отказались проводить дальнейшие эксперименты, поскольку не было гарантии, что этот метод в итоге будет одобрен.
«В плане глазных имплантов история закончилась. Но это даже хорошо, потому что она имеет продолжение в виде кортикальных имплантатов, которые ставятся в мозг. Именно там происходит визуальная обработка информации. Чипы можно использовать при любом виде слепоты, в отличие от глазных. Это более высокотехнологичное решение», — говорит Денис.
Уже в 2021 году компания представила первую разработку в новом направлении. Это первый в России нейроимплант для головного мозга ELVIS, он помогает вернуть зрение незрячим и слепоглухим людям. В устройстве есть имплант, который устанавливают в головной мозг, обруч с двумя камерами, который нужно носить на голове — они берут на себя функцию глаз и микрокомпьютер, анализирующий изображение и передающий его в мозг. Технология позволяет различать силуэты предметов, людей и понимать расположение объектов.
Пока систему испытывают на грызунах, затем последуют тесты на обезьянах. В 2024 году кортикальный имплант планируют установить десяти незрячим добровольцам.
Кортикальные зрительные имплантаты устанавливают в кору головного мозга. Они стимулируют зрительные участки, благодаря чему появляются зрительные ощущения. По мнению специалистов, это позволит менять яркость образов и обеспечить цветопередачу, что невозможно при использовании бионических имплантов. Первые операции по вживлению кортикальных имплантов провели еще в 70-х годах прошлого века. А в 2018-м американская компания Second Sight публично установила современные нейроимпланты первым слепым добровольцам. Технология проходит стадию клинических испытаний.
Научные исследования и зарубежные рынки
Среди кейсов лаборатории есть и другие разработки. Например, совместно с оператором сотовой связи было разработано бесплатное приложение для мобильных телефонов, помогающее незрячим людям определять номинал купюр. Оно доступно на iOS и Android.
Чтобы узнать номинал купюры, достаточно навести на нее камеру смартфона. ИИ определит банкноту и назовет ее. А если навести камеру на несколько купюр одновременно, устройство сразу посчитает их сумму.
Если приложением пользуется человек с инвалидностью по зрению и слуху, который не может услышать озвучку, достоинство купюры можно узнать с помощью вибрации — для разных номиналов предусмотрены собственные режимы.
Если телефон не может опознать купюру, ее можно сфотографировать и добавить в базу данных через функцию «Помощь разработчикам». Обычно необходимость в этом возникает при выпуске новых или редких памятных купюр.
Кроме производства устройств, в «Сенсор-Техе» занимаются научными исследованиями в области слепоглухоты. «Мы хотим дать понять здоровым людям, как вообще воспринимают мир те, у кого нарушены зрение или слух», — говорит Андрей.
Так, в лаборатории создали симуляторы нарушений зрения: VR-симулятор See My World и его мобильную версию SMW Pro. На изображение в реальном времени или на статичную картинку накладываются «помехи». В результате картинка искажается в соответствии с конкретным дефектом зрения. Например, становится расплывчатой или в центре изображения появляется черное пятно.
«Мы симулируем симптомы того, как видит человек с различными нарушениями зрения. Буквально: как посмотреть глазами человека, у которого есть катаракта, близорукость, астигматизм, глаукома», — рассказывает Андрей. Также с помощью симулятора можно проследить динамику болезни с течением времени. Врачам и студентам это помогает лучше изучить клиническую картину, а близким родственникам пациента — в буквальном смысле слова взглянуть на мир его глазами.
«Чтобы изображение было максимально достоверным, для его создания используется клиническая картина болезни. Дополнительно мы уточняем результат у пациента, чтобы тот подтвердил, так ли он видит, если его зрение еще не сильно испорчено», — объясняет Андрей.
Сейчас разработчики хотят продвигать свои устройства на рынках Европы и США. Планируется выставить гаджеты на Amazon и, кроме этого, выйти на государственные органы и общественные организации, занимающиеся проблемами инвалидов. Денис уверен, что рынок прикладных разработок будет только расти. А свою миссию директор лаборатории «Сенсор-Тех» видит в том, чтобы жизнь людей с ограниченными возможностями здоровья стала легче благодаря технологиям.
Читать далее:
ИИ решил биологическую задачу, над которой ученые бились 50 лет
Миллисекунда вместо 30 трлн лет на задачу: Китай представил новый квантовый компьютер
Ученые ищут людей, которые не могут заразиться COVID-19. На основе их данных сделают лекарство