Международная группа учёных, включая исследователей из Университета Иннополис и ЛЭТИ, разработала нейросеть для носимых устройств. Она распознаёт более 30 видов активности и почти не ошибается на редких событиях вроде падений. Об этом сообщает «Хайтек».
Главная сложность распознавания активности — совместить несовместимое. Нужно ловить быстрые движения, например резкое ускорение при падении, и одновременно понимать длительные паттерны, чтобы отличить ходьбу от бега за несколько секунд. Большинство моделей справляются только с чем-то одним.
Авторы новой работы решили проблему с помощью двух ветвей. Первая — временная свёрточная сеть с причинными свёртками — отвечает за локальные и среднесрочные паттерны, то есть за то, что человек делает прямо сейчас. Вторая — двунаправленные рекуррентные слои с механизмом канального внимания — моделирует долгосрочные зависимости и понимает контекст всей последовательности движений.
Модель остаётся лёгкой. В ней всего 50–62 тыс. параметров и 2–3,5 млн вычислительных операций на одно предсказание. Это позволяет запускать её прямо на смарт-часах, фитнес-браслетах и медицинских устройствах без передачи данных в облако.
Исследователи проверили систему на трёх мировых наборах данных. На первом, где 30 испытуемых выполняли 17 видов активности, включая падение в обморок и удар о препятствие, точность составила 97,49%. Это на 2,49 процентных пункта выше предыдущего лучшего результата. Особенно заметен прогресс в сбалансированности по классам: 97,5% против 74,2% у популярной альтернативы. Модель одинаково хорошо распознаёт и частые действия, и редкие.
На втором наборе точность достигла 98,91%, обойдя мирового лидера на 1,2 процентных пункта. Третий набор оказался самым трудным: данных об одних движениях было в десять раз больше, чем о других. Нейросеть в таких условиях обычно заучивает частые действия и игнорирует редкие. Но новая модель показала 92% точности и распознала редкие активности на 10,38 процентных пункта лучше предыдущей. Это важно, потому что падение в жизни значит куда больше, чем обычная ходьба.
В отдельном эксперименте модель проверили на зашумлённых данных без лабораторного контроля. При лёгком шуме точность упала всего на 3,34 процентных пункта, при умеренном — на 8,34. Качество снижается предсказуемо, а не обваливается, что критично для реального использования в носимых устройствах.
Технология пригодится в мониторинге здоровья, реабилитации после травм и инсультов, подготовке спортсменов и автономном транспорте. Работа опубликована в журнале «Сложные и интеллектуальные системы».
Обложка: magnific
