Чтобы считать движения человека, теперь нужна не комната камер, а всего одна

Обычные системы захвата движения в специально оборудованных студиях обычно полагаются на несколько синхронизированных камер, прикрепленных к потолку и стенам, которые фиксируют движения человека, одетого в защитный костюм, снабженный многочисленными датчиками. Такие системы часто очень дороги и ограничены с точки зрения пространства и среды, в которых может перемещаться владелец.

Группа исследователей во главе с Хидеки Койке из Tokyo Tech представляет новую систему захвата движения, которая состоит из одной сверхширокой камеры «рыбий глаз», установленной на груди пользователя. Их конструкция не только позволяет преодолеть нехватку места в существующих системах, но и является рентабельной.

Система, получившая название MonoEye, может захватывать движения тела пользователя, а также его перспективу или «окно просмотра». 

Наш сверхширокий объектив «рыбий глаз »имеет поле обзора 280 градусов и может захватывать конечности, лицо и окружающую среду пользователя. 

Текст исследования

Чтобы обеспечить надежный мультимодальный захват движения, система была разработана с тремя глубокими нейронными сетями, способными оценивать трехмерную позу тела, позу головы и позу камеры в режиме реального времени.

Исследователи уже обучили эти нейронные сети с помощью обширного набора данных, состоящего из 680 000 изображений людей с различными формами тела, одежды, действий, фона и условий освещения, а также 16 000 кадров фотореалистичных изображений.

Исследователи предполагают, что в будущем камеру на груди можно будет превратить в повседневный аксессуар, такой как зажим для галстука, брошь или спортивное снаряжение.

Читать также

Годовая миссия в Арктике закончилась, и данные неутешительны. Что ждет человечество?

На 3 день болезни большинство больных COVID-19 теряют обоняние и часто страдают насморком

Ученые выяснили, почему дети являются самыми опасными переносчиками COVID-19