ИИ для распознавания лиц оказался сексистом и расистом

Джой Буоламвини, ведущий автор исследования, впервые столкнулась с проблемой предвзятости алгоритмов несколько лет назад. Для своего аспирантского проекта она использовала коммерческую программу для распознавания лиц. Команда Джой была этнически и расово пестрой, в ходе работы оказалось, что алгоритм надежно работает только с ее единственным белым участником. Буоламвини, сама темнокожая, попыталась проанализировать собственные фото, и оказалось, что система либо вовсе не распознает ее лицо, либо неверно определяет пол.

Чтобы исследовать подобные ошибки систематически, исследовательница собрала подборку изображений, где темнокожие и женщины были представлены намного лучше, чем в стандартных тестах, используемых для проверки систем распознавания лиц. Всего в подборке было более 1200 изображений. Затем все изображения были оценены по шкале оттенков кожи Фицпатрика.

Собранная подборка использовалась, чтобы проверить три коммерческие системы распознавания лиц, созданные ведущими технологическими корпорациями. Оказалось, что все они намного точнее работают с фотографиями белых мужчин, а в случае женщин и темнокожих процент ошибок растет. Для женщин с темной кожей — с оценкой IV, V или VI по шкале Фицпатрика — коэффициент ошибок составил 20,8%, 34,5% процента и 34,7% соответственно. По сути, во многих случаях система принимала решения случайным образом.

Исследование поднимает важный вопрос о работе современных нейронных сетях и подборе данных для машинного обучения. В анализе использовались всего три коммерческие программы, но, вероятно, со сходными проблемами сталкиваются и другие популярные алгоритмы, определяющие пол, возраст и настроение, а также использующиеся для сопоставления лиц на различных фотографиях.

По мнению ряда экспертов, дискриминация в IT, будь то расизм или сексизм, тормозит развитие технологий и способствуют сохранению неравенства во всем мире. Борьбу с сексизмом даже назвали одним из главных трендов, определивших развитие отрасли в 2017 году.