Нейросети находят применение во многих сферах — от научных исследований и обучения до игровой индустрии и реабилитации больных. Другое направление научных разработок в сфере интеграции компьютерных технологий и изучения возможностей мозга — антропоморфные роботы, которые могли бы практически полноценно заменить человека. Основатель компании «Нейроботикс» Владимир Конышев рассказал, чему можно обучить нейросети и что умеют антропоморфные роботы.
Владимир Конышев — основатель и генеральный директор компании «Нейроботикс». В 1987 году закончил 2-й Московский мединститут по специальности врач-биофизик. Работал в Институте высшей нервной деятельности и нейрофизиологии РАН, занимался проектами по ЭЭГ и МЭГ человека. В 1992–2003 годах работал главным программистом в компаниях Brain Function Laboratory (Япония) и Neuroscan (США), где занимался разработкой коммерческих систем ЭЭГ.
«Нейроботикс» — компания по производству оборудования для научных исследований и антропоморфных роботов. Основана в 2004 году. Среди основных направлений деятельности компании:
- исследования физиологии и психофизиологии человека и животных;
- создание антропоморфных роботов;
- нейросетевые технологии (для распознавания лиц и эмоций, обработка различных нейроисследований);
- производство нейроустройств для реабилитации и ассистивной помощи людям с ограниченными возможностями.
Пациенты, перенесшие инсульт, чаще всего нуждаются в нейрореабилитации, чтобы восстановить утраченные функции. Речь идет о лечении двигательных нарушений, проблем с равновесием, речью, памятью и так далее. Одним из таких направлений занимается «Нейроботикс». Компания создала специальное оборудование для проведения нейрореабилитации после инсульта или при наличии других патологий центральной нервной системы (ЦНС). Флагманы компании — электроразгибатель кистей, помогающий восстановить подвижность кисти руки при спастических нарушениях, и экзоскелет для реабилитации при параплегии и частичной атрофии мышц ног, он позволяет ходить, садиться, вставать и даже подниматься по ступеням. Лечебный «костюм» похож на те, что мы видели в фантастических фильмах. А благодаря объединению с нейрошлемом он считывает сигналы мозга и стимулирует человека двигаться.
Еще одно изобретение «Нейроботикс» — интерфейс «мозг-компьютер» с очками дополненной реальности. Он позволяет парализованным пациентам и бионическим спортсменам управлять экзоскелетами через ЭЭГ (через считывание электрической активности мозга — «Хайтек»).
Из нейробиологии в робототехнику
До создания «Нейроботикс» ее основатель Владимир Конышев занимался исследованиями мозга и созданием ПО для его изучения. Поработав в крупных компаниях России, Японии и США, Владимир в какой-то момент понял, что больше не хочет быть наемным сотрудником, и в 2004 году основал собственную компанию. Название «Нейроботикс» предложил сын Конышева Дмитрий, который закончил МГТУ имени Баумана и в новой компании возглавил отдел программистов.
Первоначальные вложения составили 2 млн рублей. Это были собственные средства основателей. На эти деньги арендовали и отремонтировали помещение, закупили компьютеры и оборудование. За всё время создатели вложили около 100 млн рублей собственных средств, дополнительное финансирование поступало за счет государственных и частных заказов.
Сейчас «Нейроботикс» — уже группа компаний, также у нее есть своя лаборатория нейроробототехники при ЦК НТИ по ИИ МФТИ (Центр компетенций Национальной технологической инициативы по направлению «Искусственный интеллект» на базе Московского физико-технического института). Здесь есть всё необходимое оборудование для прототипирования, создания штучных образцов и мелкосерийного производства. Офис «Нейроботикс» находится в Зеленограде, городе-спутнике Москвы, еще со времен СССР известного своими научными организациями. Среди клиентов «Нейроботикс» — МГУ, СПбГУ, университеты во многих регионах России (Томск, Ярославль, Самара, Саратов и другие), исследовательские институты РАН и РАМН, Яндекс и партнеры за рубежом (в Молдавии и Казахстане).
Всего в «Нейроботиксе» работает около 50 человек. «Политика компании такова, что большую часть сотрудников мы не называем публично. Мы редко привлекаем людей на аутсорс, для нас важна командная работа офлайн, но в тоже время со своими постоянными сотрудниками по мере необходимости мы можем взаимодействовать дистанционно», — рассказывает Владимир.
Первыми сотрудниками были выпускники МГТУ (Московский государственный технический университет имени Баумана) и зеленоградского МИЭТ (Московский институт электронной техники). Большинство из них вместе учились или пришли по рекомендации. Иногда людей ищут по объявлениям в интернете, но этот способ оказался малоэффективным, поэтому к нему прибегают редко.
«Наши сотрудники — это специалисты широкого профиля, применяют в работе междисциплинарный подход, некоторые имеют несколько высших образований и ученую степень, активно обучались и обучаются в ходе выполнения различных проектов», — говорит Владимир.
Робот «Пушкин» прочитает стихи и скажет тост
Робототехника стала другим, важным направлением деятельности «Нейроботикса» после исследований в области нейронаук. Первого антропоморфного робота — «Алису Зеленоградову» — создали в 2011 году. Она демонстрировала девять эмоций и отвечала на вопросы. Внешняя оболочка робота была изготовлена из жидкого силикона, что позволило детально передать фактуру и особенности кожи и сделало лицо и мимику робота наиболее реалистичными. Сейчас «Алиса» обладает мимическими и позиционными приводами: она умеет улыбаться и грустить; хмуриться и удивляться, поворачивать и наклонять глаза; жмуриться и моргать; двигать челюстью, открывать и закрывать глаза.
В 2018 году усовершенствованная версия «Алисы» встречала гостей на конференции ЦИПР-2018 и дала несколько интервью печатным изданиям и телеканалам.
Позднее появилось еще несколько моделей, среди которых — «Александр Пушкин». Роботизированная копия поэта с выражением читает стихи, поет романсы, произносит тосты, рассказывает интересные факты из жизни своего прототипа. При этом внутренняя конструкция андроида достаточно простая, что позволяет использовать его для обучения робототехнике.
Также в кейсе компании есть робот-логопед. Он может делать вместе с человеком дыхательную и артикуляционную гимнастику, давать задания в виде сложновыговариваемых слов и предложений, скороговорок, оценивать результат (процент правильности) и мотивировать на продолжение самосовершенствования.
«Логопед — это, с одной стороны, профессионал, который может выявить речевые дефициты, с другой — прорабатывать их, — рассказывает Владимир. — Выявить и оценить степень сложности проблемы мы пока не можем (средства распознавания слишком несовершенны во всем мире). Большой интерес к таким роботам стали проявлять представители стран Восточной Европы, так как там мало логопедов и даже платно сложно попасть на прием в удобное для клиента время».
У «Нейроботикса» также есть симулятор для студентов медицинских вузов. Робот демонстрирует мимические симптомы инсульта: асимметрию лица, различные виды косоглазия, отклонение нижней челюсти при открытии рта и другие. Если подключить модуль чат-бота, он начинает вести диалог.
Всего в «Нейроботиксе» разработали около 20 антропоморфных роботов. Их можно использовать в качестве промоутеров и интерактивных манекенов для рекламы товаров на выставках, секретарей и консультантов, в качестве учителей («Пушкин» может преподавать литературу, а «Петр I» — историю), для обучения студентов-медиков и психологических исследований. Можно создать театр, где будут играть только роботы, а можно сделать по индивидуальному заказу двойника для человека (для потомков или ему самому на память).
Все роботы управляются через специализированное ПО «Нейроботикс» RoboStudio. Оно позволяет изменять мимику, генерировать речь, управлять аудиофайлами, следить за объектом и его лицом, определять эмоции.
Первый антропоморфный робот был представлен в 1927 году Westinghouse Electric Company. Сигналы передавались через телефон и активировали программу. Робот мог включить плиту или проверить, работает ли свет.
Через 10 лет был создан робот Elektro. Он управлялся голосовыми командами, но не конкретными словами, а их количеством: любые два слова запускали движения, три — останавливали механизм, четыре — возвращали робота в исходное положение. Во рту робота был мотор, с помощью которого он мог надувать воздушные шарики и курить. Практической пользы от такого устройства не было, он выполнял скорее развлекательные функции.
До сих пор антропоморфные роботы имеют достаточно ограниченный функционал и используются преимущественно в качестве развлекательных моделей или информационных устройств. Например, Sophia от Hanson Robotics может распознавать речь и генерировать ответы на основании данных из интернета и собственного опыта. Также она способна выразить на лице около 60 эмоций. Но это пока лишь проморазработка, по сути, чат-бот в человеческом обличии.
Еще один известный антропоморфный робот — двойник японского профессора Хироши Ишигуро, который может читать студентам лекции, пока сам профессор занят.
В России антропоморфных роботов выпускает, например, пермская компания «Промобот». Они используются в сфере услуг.
В целом антропоморфные роботы широкого практического применения пока не получили. В Испании, Корее, США они используются в военно-промышленной отрасли. В Японии есть гостиница, где роботы сидят на ресепшене. Специалисты сходятся во мнении, что антропоморфные роботы менее пригодны для выполнения конкретных задач, но это может компенсироваться их универсальностью.
В мире животных
Все мы помним детскую сказку «Теремок», в которой самые разные животные поселились в одном доме и вели себя так по-разному, пока не разрушили свое жилище. Именно поэтому свое устройство для изучения грызунов «Нейроботикс» назвали именно в честь этой веселой истории. «Теремок» — один из кейсов радикального другого направления деятельности компании — изучения физиологии и поведения животных. Разработанные решения используются в исследовательских центрах и вузах. Устройство позволяет фиксировать грызунов для снятия замеров или проведения экспериментов, во время которых животное должно быть неподвижно (например, использование подогрева).
Еще один кейс — комплекс «Ротарод» — предназначен для исследования двигательной активности и мотивации мелких грызунов. Для этого животных помещают на вращающийся барабан и отслеживают, сколько они могут на нем удержаться. В зависимости от задач исследователя, с помощью устройства можно изучать выносливость животных, двигательные нарушения, мотивацию (например, избегание ударов током или страх высоты). Результаты экспериментов используются в фармакологии, нейронауках и физиологии.
Когнитивные функции лабораторных животных определяет аппаратно-программный комплекс «Шелтер». С помощью этого устройства можно определять разные параметры: время пребывания животного на площадке (в секундах), до спуска животного на пол; время нахождения животного на полу камеры; перемещение (путь) грызуна по отдельным зонам и за весь эксперимент; задержка реакции; комплексные статистические показатели для выборки грызунов.
В активах «Нейроботикса» многочисленные лабиринты для изучения грызунов и специальное ПО Minotaur, которое обеспечивает возможность автоматического отслеживания перемещений грызуна (крысы или мыши) в лабиринте с расчетом всех основных показателей активности.
«Наше оборудование для исследования физиологии животных создавалось для импортозамещения, однако некоторые приборы превзошли аналоги, — объясняет Владимир. — Например, с помощью “Шелтера” исследователи изучают когнитивные функции грызунов, прежде всего внимание и память, для этого используются камеры активного и пассивного избегания. Животное помещается в комплекс, при этом какие-то его действия, например, спуск с площадки вниз, вызывают удар током иногда в сопровождении резкого звука. Другой вариант — мыши нужно перейти из одной части комплекса в другую до того, как она получит удар током. В отличие от устройств, где используются инфракрасные датчики, “Шелтер” позволяет точнее фиксировать перемещения животных и делать более сложные эксперименты с поглощением пищи».
Производством оборудования для изучения физиологии и поведения животных занимаются компании Metris (Нидерланды), Adinstruments (Новая Зеландия), RWD (США) и другие.
Нейросети создадут изображение
В 2019 году специалисты «Нейроботикса» совместно с лабораторией нейроробототехники МФТИ научились по электрической активности мозга воссоздавать изображения. Предполагается, что полученные данные будут использованы при создании устройства для реабилитации после инсульта.
В первой части эксперимента исследователи произвольно выбирают пять категорий видеороликов: «абстракции», «водопады», «лица людей», «скорость» (видеосъемку от первого лица гонок на снегоходах, водных мотоциклах и ралли) и «движущиеся механизмы». Их показывали испытуемым, записывая при этом ЭЭГ. Длительность каждого ролика была 10 секунд, а общая длительность сессии — 20 минут.
Анализируя записи, ученые установили: частотные характеристики волновой активности ЭЭГ для разных категорий видео достоверно различаются. Это позволило определять реакцию мозга на картинку в режиме реального времени.
Для второй части эксперимента случайным образом выбрали три категории роликов. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы обучили эти нейросети работать совместно. Нужно было добиться, чтобы на основании сигналов ЭЭГ система создала кадры, похожие на те, которые участники эксперимента видели в момент записи.
Для проверки испытуемым показали незнакомые ранее видео тех же категорий, снимая при этом ЭЭГ и сразу отправляя ее на нейросети. Эксперимент оказался успешным: нейросети генерировали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.
Для физической активности
Развитие технологий уже преодолело важный барьер — теперь люди с ограниченными возможностями могут передвигаться, восстанавливать двигательные и когнитивные функции, в том числе после травм, инсультов или других патологий (также и врожденных). Так, нейрогарнитура «НейроТЭС» стимулирует поврежденное полушарие мозга и подавляет здоровое для уравновешивания. А «НейроФЭС» создает электрические разряды, вызывающие сокращение мышц пациента, что приводит к импульсам от мышц с активацией процессов нейропластичности мозга и быстрее восстанавливает двигательную активность. Применяется для лечения нервно-мышечных заболеваний, нарушений кровообращения.
Программно-аппаратный комплекс «Нейротренажер» помогает в реабилитации после инсультов и травм головы, управляется биосигналами мозга и мышц, наиболее эффективен в сочетании с «НейроФЭС». Устройство «Робоком» предназначено для пациентов с нарушениями подвижности рук: искусственная рука двигается благодаря голосовым командам пациента, управлению с помощи планшета или нейроинтерфейса, такой протез заменяет неработающую руку.
Есть у «Нейроботикса» устройства не только для реабилитации, но и для работы со здоровыми людьми. Линейка нейрогарнитур NeuroPlay используется для тренировок внимания, альфа-состояния у людей с высоким уровнем стресса. Комплекс «Когниграф» применяется для нейрофизиологических исследований: анализа данных электроэнцефалограмм, создания и тестирования нейрокомпьютерных интерфейсов, картирования источников активности коры головного мозга в режиме реального времени.
Маленькие трекеры Xsens MVN Awinda для спортсменов прикрепляются на тело человека или одежду и фиксируют все движения и характеристики здоровья (пульс, давление, частота дыхания). Такое устройство помогает контролировать, достаточно ли спортсмен тренируется, правильно ли выполняет упражнения. Также специалисты компании изобрели трекер глаз EyeRay — очки с камерами и светодиодами в оправе, которые позволяют исследовать отличия зрительного восприятия опытных и неопытных спортсменов, объяснять неопытным, за чем нужно следить, чтобы эффективно тренироваться. Такие глазные трекеры помогают и в маркетинге: позволяют отслеживать, какие товары в магазине интереснее покупателям, насколько эффективна реклама на билборде (фиксируют, на чем задерживается взгляд человека).
Менять отрасль
«Мы надеемся, что подобные исследования позволят нам выделить большее количество состояний для нейропилотирования — управления реальными и виртуальными объектами при помощи мыслительных образов», — говорит Владимир.
Эта технология вошла в топ-30 прорывных российских технологий 2019 году.
В ближайших планах у Конышева — участие в ANA Avatar XPRIZE. «Участие в этом конкурсе — это и вызов, и возможность интегрировать все наши наработки в робототехнике. У нас есть огромное количество наработок для создания ростового двуного и двурукого робота, который требуется по условиям конкурса. В случае, если нам удастся реализовать все задумки, то вне зависимости от итогов конкурса мы получим универсального робота, способного выполнять широкий класс промышленных, сервисных и социальных задач», — делится Владимир.
Кроме этого, в компании продолжают работать над совершенствованием существующих продуктов. Экзоскелеты, с помощью которых происходит реабилитация после инсульта, потенциально могут использоваться для совершения действий с бытовыми предметамиили управлением техникой с помощью интерфейса «мозг-компьютер». Постоянно расширяется функционал антропоморфных роботов, их умение полноценно поддерживать диалог. Беспроводные телеметрические комплексы позволяют снимать данные об основных физиологических показателях: ЭКГ, ЧСС, скорость дыхания, температуре кожи — и сразу передавать эти данные в систему для анализа. Такие системы полезны, например, во время спортивных тренировок, чтобы правильно подбирать нагрузки.
Читайте также:
— Появилась новая противораковая вакцина на основе микрокапсул
— Астрономы нашли уникальный троянский астероид с хвостом, как у кометы
— Оказалось смерти подобно: какие лекарства от COVID-19 не оправдали ожидания