Первые удачные эксперименты по созданию такого типа систем прошли в октябре 2019 года, пишет MIT Technology Review. Созданная система состоит из вычислительного блока на базе четырехъядерного процессора Intel Core i7, лидара и оптико-электронных камер.
В основе устройства лежит нейросеть, которая может распознавать карту местности и объекты на ней, присваивать им семантические марки и модернизировать ее с помощью голосовых команд. Например, штаб может дать команду роботу «Посмотри, что происходит за зданием». В случае, если на карте есть несколько меток «здание», он сначала спросит, за каким именно: только после этого будет выполнять команду.
В рамках первых тестирований военные проверяли систему на небольшой четырехколесном роботе Husky с манипулятором. Он должен был расчистить местность, убрать мусор с дороги, провести разведку и самостоятельно определить, какие именно объекты может схватить своим манипулятором.
Два из трех заданий давались роботу голосовыми командами. Во время одной из команд устройство зависло и его пришлось перезагружать, поэтому она считается выполненным только частично.