В отличие от предыдущих решений, требующих постоянного интернет-соединения, Gemini Robotics On-Device выполняет все вычисления локально прямо на устройстве. Это важно для работы в условиях нестабильной связи, а также для защиты данных.
Разработчики отметили, что модель демонстрирует высокую адаптивность, осваивая новые действия всего за 50–100 демонстраций. В ходе тестов роботы выполняли сложные манипуляции, включая расстегивание сумок и складывание одежды, демонстрируя точность движений.
Изначально система обучалась на роботе ALOHA, но затем ее перенесли на гуманоидного робота Apollo от Apptronik и двурукий манипулятор Franka FR3. Это подтверждает универсальность архитектуры и способность модели адаптироваться к разным аппаратным платформам.
Модель также справляется с незнакомыми объектами и задачами. Например, Franka FR3 выполнял сборку на промышленном конвейере с деталями, которые не встречались в обучающих сценариях. Это демонстрирует способность системы к обобщению и работе в реальных условиях.
Google также представила комплект для разработки ПО, позволяющий исследователям и компаниям тестировать систему как в симуляторе MuJoCo, так и в реальной среде — с возможностью демонстрации новых задач через дистанционное управление.
Однако компания предупреждает, что локальная версия Gemini Robotics On-Device не включает встроенные механизмы безопасности, которые присутствуют в облачной версии. Разработчикам рекомендуется самостоятельно интегрировать системы защиты и контроллеры безопасности.
Читать далее:
Наша Вселенная прибыла из другого мира: теория мироздания оказалась неверна?
Физик предложил заменить пространство-время трехмерным временем
Появилась безопасная альтернатива препаратам от диабета и ожирения
На обложке: кадр из демонстрационного видео