Алгоритмические системы предсказания рецидивизма были созданы, чтобы сокращать количество заключенных. Предполагалось, что машина выдаст непредвзятое суждение, но оказалось, что ИИ-системы, как и люди, подвержены предрассудкам. Издание Quartz объясняет, почему создание справедливого алгоритма - это пока непосильная задача.
Quartz рассказывает историю двух 18-летних девушек из небольшого городка во Флориде, которые в 2014 году забрали оставленные кем-то велосипед и самокат. Через несколько часов обеих девушек задержали и обвинили в краже. Причиной стал не столько сам факт «заимствования» чужого, сколько рейтинг системы COMPAS, которая определяет вероятность рецидивизма. Созданная компанией Northpointe система назначила одной девушке высокий риск рецидивизма, второй — средний. Как сообщает некоммерческая организация ProPublica, обе подсудимые были афроамериканками. «Хайтек» писал о похожем случае, когда алгоритм COMPAS обвинили в расизме.
Первые системы прогнозирования преступлений появились еще в начале 2000-х. Они были созданы для снижения количества заключенных. И за эти годы в некоторых американских штатах удалось добиться результатов. Так, за 10 лет в штате Вирджиния рост числа заключенных снизился с 31% до 5%.
Однако понимание того, как работают такие алгоритмы, за 17 лет так и не сформировалось. В Northpointe утверждают, что число рецидивистов среди представителей разных рас примерно одинаковое. Но анализ 7000 судебных случаев, проведенный ProPublica, показал, что темнокожим правонарушителям алгоритм чаще присуждает средний и высокий показатель риска.
8 наций, которым грозит вымирание
Мнения
Эксперт по компьютерным наукам Томас Микони считает, что машинам невозможно передать наши глубинные представления о морали: «Можно мечтать, будто мы сможем избежать предвзятости и несправедливости, если доверим принятие решений „Алгоритму“. Но результаты показывают, что это невозможно». В своем недавнем исследовании Микони отмечает, что справедливость — это субъективная человеческая черта. «Объяснить» ее алгоритму математически невозможно.
Обучить умные машины морали сложно еще и потому, что сами люди несправедливы. Мужчины зарабатывают больше женщин, а меньшинства составляют большую часть заключенных в США. Еще философ Иммануил Кант писал, что несправедливость встроена в природу человека.
По мнению Микони, есть лишь два способа внушить справедливость машинам. Первый — это создание всезнающего и всевидящего алгоритма, что объективно невозможно. Второй вариант потребует от людей отказа от привычных предрассудков. Да, согласно судебным документам афроамериканцы действительно чаще повторно совершают преступления. Но алгоритм не должен брать это во внимание, он должен рассматривать каждый случай без учета статистических данных, считает корреспондент Quartz Яцек Кривко.
IBM Watson составил план лечения рака за 10 минут
Технологии
Несмотря на все несовершенства, алгоритмы на базе машинного обучения уже позволяют прогнозировать и расследовать преступления. Успешные результаты недавно показал Чикаго. За 7 месяцев благодаря умным системам количество убийств в разных районах города снизилось на 33%.