Исследовательская и консультационная фирма «Система контроля качества» выступила с критикой отчета Tesla за 2017 год, в котором говорится, что автопилот сократил количество ДТП на 40%. Ученые подчеркивают недостатки методологии исследования, на которое Tesla несколько раз ссылалась в течение двух лет.
Исследование безопасности автопилота провели после катастрофы владельца Tesla Джоша Брауна в 2016 году. Автопилот — более конкретно, функция поддержания полосы движения Tesla под названием Autosteer, — был активной во время аварии. Браун проигнорировал несколько предупреждений и не положил руки обратно на руль. Ученые задались вопросом, действительно ли автопилот сделал поездки на Tesla более безопасными, побудив их уделять меньшее внимание дороге.
В распоряжении «Системы контроля качества» есть набор необработанных данных, которые противоречат выводам Tesla. Большинство транспортных средств в наборе данных компании страдали от отсутствия данных или других проблем, которые не позволяли определить, увеличилось или уменьшилось количество столкновений при активации Autosteer. Но когда исследователи сосредоточилась на 5 714 автомобилей, где они имели все нужные данные, то обнаружили, что активация Autosteer увеличила количество ДТП на 59%.
Компания Tesla начала поставки автомобилей с аппаратным обеспечением Autopilot в 2014 году, но система поддержания полосы движения Autosteer была включена только в октябре 2015 года. Это является своего рода естественным экспериментом: сравнивая показатели аварий на одном и том же транспортном средстве до и после октября 2015 года, ученые могут оценить, каким образом эта технология влияет на безопасность.
«Система контроля качества» запросила у Tesla данные о проданных автомобилях за 2014–2016 годы, сколько миль они проехали до и после обновления Autopilot и попадали ли они аварию до или после включения функции.
В вычислениях важно, чтобы числитель и знаменатель строились из одного и того же набора точек данных, отметили исследователи. Если мили от конкретного автомобиля не находятся в знаменателе, то аварии для этого же автомобиля не могут быть в числителе, — иначе результаты бессмысленны.
Тем не менее, по словам специалистов из «Системы контроля качества», исследование Tesla было построено именно так. Они использовали данные, где не заполнили поля, необходимые для расчета пробега этих автомобилей, и сделали ошибочные выводы.