Исследователи из Наньянгского и Сиднейского технологических университетов разработали систему машинного обучения, которая может распознавать жесты рук. Для этого она анализирует изображения с помощью растягивающихся тензометрических датчиков. Архитектура искусственного интеллекта (ИИ) описана в журнале Nature Electronics, ученые вдохновились устройством мозга человека.
Они заметили, что когда люди решают практические задачи, они, как правило, соединяют визуальную и соматосенсорную информацию, полученную из окружающей среды. Эти два типа информации дополняют друг друга, так как в сочетании они дают лучшее представление обо всех данных, которые нужны для решения проблемы.
«Наша идея появилась после того, как мы изучили свойства мозга обрабатывать информацию. Оказалось, что в мозге человека активность восприятия зависит не только от конкретной сенсорной информации, но и от комплексной интеграции нескольких сенсоров. Это вдохновило нас на объединение визуальной и соматосенсорной информации (осязание, температура) для реализации системы, которая точно распознает жесты».
ведущий автор исследования Сяодун Чен
Разрабатывая свою методику распознавания жестов, Чен и его коллеги обеспечили возможность интеграции различных видов сенсорной информации, собранных с помощью нескольких датчиков. Дополнив их компьютерным зрением они создали систему, которая может распознавать жесты с точностью в 85%.
Его многослойная и иерархическая структура имитирует структуру мозга, но с искусственными нейронными сетями вместо обычных. Кроме того, некоторые сети в их архитектуре обрабатывают те же самые модальные сенсорные данные, обрабатываемые нейронными сетями в мозге. Например, секционная нейронная сеть (CNN) специально выполняет конверсионные операции, искусственно воспроизводя функцию локального рецепторного поля внутри биологических нервных систем. Так она имитирует начальную обработку визуальной информации, которая происходит в тех частях человеческого мозга, которые отвечают за зрение.
Читайте также:
— Комета NEOWISE видна в России. Где ее увидеть, куда смотреть и как сделать фото
— Посмотрите на огромную «стену» из сотни тысяч галактик позади Млечного пути