ИИ для прогнозирования преступлений признали некомпетентным

Алгоритм Compas, разработанный компанией Equivant (в прошлом Northpointe), используется в США с 1998 года. Программа анализирует данные подсудимых и решает, можно ли отпустить преступника под залог или лучше оставить его под стражей, а также помогает судьям определить меру пресечения в зависимости от степени риска. При оценке дел система учитывает возраст, пол и уголовное прошлое подсудимых. Как пишет The Guardian, за 20 лет алгоритм провел оценку более 1 млн человек.

Специалисты по компьютерным наукам из Дартмутского колледжа (США) решили проверить, насколько можно доверять прогнозам Compas. Для этого они сравнили точность предсказаний алгоритма с точностью предсказаний обычных людей без юридического образования. Участников эксперимента набрали на бирже фрилансеров Mechanical Turk, пользователи которой выполняют небольшие задачи для заказчиков.

В эксперименте эксперты использовали базу данных 7000 подсудимых из округа Броуард, штат Флорида, которые проходили оценку Compas. Алгоритм строил прогноз на основе демографических данных, информации о поле, возрасте и уголовном прошлом.

Фрилансерам для вынесения решения предоставили только короткую справку, в которой были указаны возраст, пол и прошлые судимости. Таким образом, ИИ располагал набором данных из 137 пунктов, а люди — из 7. Чтобы проверить точность предсказаний, эксперты использовали досье арестов в последующие два года после заключения. В результате точность прогноза составила 67% у фрилансеров и 65% у алгоритма Compas.

Анализ также показал, что алгоритм ошибочно присуждает риск рецидивизма чернокожим заключенным чаще, чем белым. Ранее организация ProPublica проанализировала те же 7000 судебных случаев и обнаружила, что чернокожим правонарушителям алгоритм чаще присуждает средний и высокий показатель риска.

«Цена ошибки в данном случае очень высока, поэтому всерьез стоит задуматься, можно ли вообще применять этот алгоритм для принятия судебных решений», — заметил Анри Фарид, автор исследования, опубликованного в журнале Science Advances.

Исследование также помогло понять, какая логика стоит за вынесением решений Compas. Оказалось, что работа алгоритма — это простейшие вычисления, в которых решающую роль играет возраст подсудимого и количество арестов в прошлом. Чем меньше возраст и чем больше арестов, тем больше риск, считает система. Эксперты признали технологию не слишком впечатляющей.

Впрочем, некоторые специалисты отмечают, что алгоритм не просто решает, отпустить подсудимого под залог или оставить под стражей. Программа дает подробную оценку рисков и выявляет уязвимые стороны преступников. Например, рекомендует человеку обратиться в центр по борьбе с наркозависимостью сразу после выхода на свободу.

В 2016 году американец Эрик Лумис подал иск в Верховный суд штата Висконсин с требованием пересмотреть использование алгоритма Compas для вынесения судебных решений. По мнению Лумиса, система работает некорректно и выносит решения предвзято. Американца приговорили к 6 годам заключения после попытки скрыться от полиции на машине, задействованной в одном из преступлений. Однако Верховный суд не встал на сторону Лумиса и заключил, что такое решение в отношении американца было бы принято даже без использования алгоритма.