3 апреля 2019

Пользователи обманули систему распознавания разметки в Tesla простыми точками на асфальте

Систему автопилота Tesla можно обмануть неправильным расположением точек на асфальте — искусственный интеллект может принимать их за разметку и сворачивать, чтобы не пересекать несуществующую разделительную линию. К такому выводу пришли эксперты из китайской компании Tencent.

В ходе исследования инженеры по безопасности попытались обмануть автопилот Tesla. Обычно во время таких опытов специалисты применяют цифровой подход, однако в Tencent предпочли наносить ложные метки в реальности. В ходе эксперимента инженерам удалось добиться, чтобы Tesla обнаружила несуществующую разметку и не заметила настоящую.

Для того, чтобы автомобиль нашел несуществующую разметку, специалистам пришлось добавить белые пластыри к настоящей сплошной линии, однако они располагались неравномерно — это позволило бы живому водителю понять, что разметка ненастоящая. Но автопилот не смог справиться с этой задачей.

Во время второго эксперимента исследователи нанесли на асфальт три квадратных наклейки, которые были выстроены в линию — она прошла диагонально по текущей полосе движения. В результате автопилот принял ее за настоящую и свернул на встречную полосу.