Система использует обучение с подкреплением, искусственное моделирование и обширные наборы данных о движениях человека для распознавания действий и обучения робота.
Исследователи из Университета Карнеги-Меллона разработали систему для телеуправления гуманоидными роботами в режиме реального времени. Программа контролирует движения оператора только с помощью камер, использует обучение с подкреплением, масштабируемый ретаргетинг и обширные наборы данных о движениях человека для беспрерывного совершенствования и точного распознавания движений.
Используя обычную камеру RGB без дополнительных костюмов или датчиков, люди
могут дистанционно управлять полноразмерными гуманоидными роботами, заставляя их выполнять разнообразные действия. Метод подойдет и для простых задач — выбрать предмет и переместить его, и для динамических движений, например, ходьбы или бокса.
Полный контроль над крупными гуманоидами при телеуправлении давно является проблемой в робототехнике. Сложность возрастает при попытке заставить робота имитировать произвольные человеческие движения в реальном времени.
Разработанная инженерами система «Человек — гуманоид» — это масштабируемая система, основанная на обучении, которая использует только камеру RGB телеуправления. Используя процесс «симуляция в данные» и обучение с подкреплением, метод решает сложную проблему преобразования движений человека в действия, которые может выполнять робот.
Используя комплексный имитатор движений всего тела, похожий на вечный гуманоидный контроллер (PHC), команда предлагает тренировать и плавно переходить к реальному развертыванию с нулевым обучением. Демонстрация обучения и работы робота представлена в видео.
Разработчики утверждают, что исследование знаменует новую эру в технологии дистанционного телеуправления, облегчая интуитивное и динамичное взаимодействие между людьми и человекоподобными роботами.
Читать далее:
Ученые проверили ДНК червей из Чернобыля
Названы 32 города, которым грозят наводнения к 2025 году