Исследователи из Университета Макгилла разработали систему обучения дистанционно управляемого мини-внедорожника по пересеченной местности. При этом она обучается при помощи аэрофотосъемки и снимков от первого лица. Гибридный подход учитывает неровности рельефа и препятствия, используя бортовые датчики, что позволяет обобщить среду вокруг с растительностью, скалами и песком.
Эту работу в будущем можно будет использовать для обучения автономных автомобилей, таких как Wayve, Tesla, Mobileye и Comma.ai. Сейчас они полагаются на видеокамеры для обучения своего навигационного ИИ.
Исследователи использовали внедорожник с электрическим моторчиком и механическим тормозом, который подключается к компьютеру Intel i7 NUC с открытым исходным кодом. Устройство оснащено короткодиапазонным датчиком LIDAR и фронтовой камерой в сочетании с микроконтроллером, который передает всю информацию с датчика на компьютер.
Перед развертыванием устройства на трассе команда сделала снимки трассы с высоты 80 м. Затем они извлекли данные из этих кадров, чтобы соориентировать и отцентровать маршрут. Снимки были сделаны с разрешением 0,01 м на пиксель и выровнены в пределах 0,1 м, используя четыре визуальных ориентира.
Учитывая данные с изображений ИИ может интерпретировать их как «препятствие», «гладкая дорога», «шероховатая дорога», которая прогнозирует вероятность столкновений на пути.