За зрение робота отвечает установленная на нем камера, данные с которой отправляются на ноутбук — он лежит на роботе, как на столике. Ноутбук перенаправляет информацию на лабораторный компьютер, который подсказывает роботу, что именно перед ним находится. Все это происходит буквально за несколько секунд.
В основе разработки лежат глубокие нейронные сети. «Алгоритм изучает сотни изображений одного объекта, запоминает их и присваивает предмету номер. Как только робот сталкивается с этим объектом, он находит связанное с ним изображение и номер», — описывает механизм работы устройства студентка Бостонского университета и разработчица робота Эмили Фитцджеральд. Это позволяет устройству называть предметы, которые он видит перед собой.
На видео он распознает шар и дорожный конус, но не совсем понятно, сколько еще предметов содержится в его базе данных и как работает речевой механизм.
Конкретных планов о дальнейшем развитии технологии и ее коммерческом продвижении у Фитцджеральд пока нет. Хотя роботы с высоким уровнем самостоятельности — это всегда ценная находка для ученых. Они могут применяться в различных сферах, в том числе в медицине и изучении космоса.