Исследователи из Института Макса Планка и Facebook Reality Labs разработали алгоритм машинного обучения PhysCap, который может выполнять 3D-захват движения. Алгоритм работает с любой зеркальной камерой, скорость съемки которой составляет 25 кадров в секунду.
Новый алгоритм машинного обучения PhysCap осуществляет качественный захват движения с учетом всех физических показателей. До этого попытки создать систему motion capture варьировались от костюма стоимостью $2 500 до платформы, которая использует глубинный сенсор Kinect от Microsoft.
PhysCap захватывает физически и анатомически правильные позы. Алгоритм оценивает 3D-позы тела кинематическим способом с помощью сверточной нейронной сети. На втором этапе положение тела и состояние движения для каждого кадра видео предсказывает другая сверточная сеть. На заключительном этапе оценки поза воспроизводятся как можно точнее, чтобы учесть такие вещи, как гравитация, размещение ног и другие факторы.
В ходе эксперимента выяснилось, что ИИ хорошо работает на сценах с разным фоном, но иногда неправильно интерпретирует скорость движения ног.
В будущем команда планирует проработать модели взаимодействия рук и ног человека в сидячей и полулежачей позах.
Читать также
Посмотрите, как может выглядеть Proxima b. Это планета ближайшей к нам звезды
Симптомы коронавируса у детей. На что стоит обратить внимание?
На 3 день болезни большинство больных COVID-19 теряют обоняние и часто страдают насморком