Роботы обучаются друг у друга по тому же принципу, что и дети 1-4 лет, которые смотрят на своих ровесников и повторяют за ними какие-либо действия. В основе роботизированных механизмов лежат сверточные нейросети, которые входят в состав глубокого обучения. Архитектура таких сетей позволяет устройствам более эффективно запоминать и обрабатывать изображения, используя только монокулярные снимки с камеры.
Механизмы наблюдает за тем, как их манипуляторы ведут себя в пространстве и какие именно действия приходят к успешному захвату предмета. С помощью этого непрерывного отслеживания роботы обучаются зрительно-моторной координации.
Как и в любом другом процессе глубокого обучения, здесь не обошлось без метода проб и ошибок. Ежедневно роботы вынимали из коробки предметы различной формы, мягкости, текстуры, с которыми они не были обучены обращаться. В течение двух месяцев было проведено 800 000 попыток. В результате роботы сами научились различать, как нужно держать пластиковый стакан, деталь «Лего», губку или степлер.
Роботы подстраивают силу сжатия и размер манипулятора, а иногда даже выравнивают предмет, чтобы было сподручнее его взять. В Google утверждают, что человек никак не участвует в этом процессе и не программирует эти задачи.
Революционность этого метода заключается именно в том, что роботов не обучали, не программировали обращению с конкретными предметами, поэтому они действуют по ситуации — а такой навык до сих пор является большой редкостью в сфере искусственного интеллекта. В дальнейшем исследователи хотят провести эксперименты не в лабораторных условиях, а в более реальной среде с меняющимся освещением, среди других предметов и с учетом возможного износа оборудования.