Синтия Дворк: «Алгоритмы должны стать прозрачными и непредвзятыми»

Синтия Дворк на протяжении своей яркой карьеры изучала проблемы взаимодействия человека и компьютера и получила известность за изобретение «разностной приватности» — набора техник, позволяющих обеспечивать конфиденциальность в больших базах данных. Она дает возможность человеку вносить, например, в медицинскую базу свой генетический материал, не опасаясь, что кто-то сопоставит данные с его личностью.

Последние 5 лет Дворк, которая пока еще занимает пост в Microsoft Research, но с января перейдет в Гарвардский университет, посвятила себя новому полю исследований — алгоритмической беспристрастности.

По ее наблюдениям, алгоритмы все больше управляют нашим опытом: они определяют то, какую рекламу мы смотрим, какие банковские ссуды мы получаем, колледжи, в которые поступают абитуриенты… Поэтому важно, чтобы алгоритмы классифицировали людей в соответствии с понятием беспристрастности. Например, неэтично для банка предлагать одни условия представителям национальных меньшинств, а другие — коренному населению. Однако подобная дискриминация может просочиться и в математические алгоритмы.

По мнению Дворк, по сравнению с вопросами «разностной приватности» проблема беспристрастности гораздо сложнее. Если бы существовал волшебный способ найти правильный способ измерения разницы между людьми, шансы добиться цели были бы. Но кажется, что люди не могут согласиться, к кому именно нужно относиться непредвзято и по сравнению с кем. И крайне сложно найти статистический метод или использовать машинное обучение, чтобы получить удовлетворительный ответ на этот вопрос.

Например, дискриминация в рекламе средств по уходу за волосами является вполне осмысленной, а дискриминация в рекламе банковских услуг незаконна. Дворк считает, что решением этой задачи могла бы стать прозрачность: алгоритмы должны быть доступны общественности, которая имеет право их обсуждать и воздействовать на их изменение.

«Я не думаю, что бывает так, чтобы все сразу получалось правильно, — говорит Дворк в интервью изданию Quanta Magazine. — Я думаю, мы можем только делать все возможное и — на этом я настаиваю в своей статье — защищать прозрачность в алгоритмах».

Плохому научиться просто. Это доказал чатбот Tay, который за сутки превратился из обычного подростка в нациста и хулигана. Причиной такого падения послужили обычные пользователи Twitter, которые поняли, что способность алгоритма обучаться — это и есть его слабая сторона.