Исследователи из Исследовательского института Idiap в Швейцарии, Китайского университета Гонконга (CUHK) и Уханьского университета (WHU) разработали метод машинного обучения, позволяющий обучить роботов приготовлению пищи и уборке на кухне. Их метод сочетает в себе использование модели на основе трансформатора и графовой нейронной сети (GNN).
«Наша недавняя работа — это совместная работа трех лабораторий. Мы изучаем эту технику уже около десяти лет и заинтересованы в создании интеллектуальных роботов, которые могут готовить еду для людей», — отмечают исследователи.
Они решили сосредоточиться на китайском кулинарном искусстве, в частности на приготовлении еды во фритюре — технике, которая подразумевает обжаривание ингредиентов на сильном огне, где их нужно постоянно перемешивать. «Несмотря на то, что в последние годы такие роботы уже получили развитие, создание робота-повара в полуструктурированной кухонной среде — пока грандиозная задача», — отмечают ученые.
Они добавили, что новый механизм рассматривает координацию как проблему передачи последовательности между движениями обеих рук и использует для этого комбинированную модель трансформатора и GNN. Поэтому в интерактивном процессе движение левой руки корректируется в соответствии с визуальной обратной связью, а соответствующее движение правой руки генерируется предварительно обученной структурно-трансформаторной моделью на основе движений левой руки.
Исследователи оценили работу своей модели как в симуляциях, так и на физической двуручной роботизированной платформе. В этих тестах модель позволила роботу успешно и реалистично воспроизвести движения, связанные с приготовлением жареной картошки.
В будущем модель, представленная группой исследователей, может позволить разработать роботов, способных готовить еду как в домашних условиях, так и в общественных местах. Кроме того, этот же подход может быть использован для обучения роботов другим задачам, которые предполагают использование двух рук и кистей.
«Теперь мы будем вводить более высокоразмерную информацию для изучения движений гуманоидов при работе на кухне, например, визуальные сигналы и сигналы электромиографии, — отмечают ученые. — Таким образом, мы также планируем предложить более комплексную систему, которая будет включать в себя как движения бимануальных манипуляторов, так и изменение состояния объекта».
Читать далее
Квантовый симулятор показал разделение электрона на части в одномерном пространстве
Физики создали атомный лазер, который может работать вечно
Недалеко от Земли нашли две планеты, которые очень похожи на нашу