В статье «Каковы предубеждения во встраивании слов?», опубликованной на сервере препринтов arXiv.org, ученые из Microsoft Research, Карнеги — Меллон и Университета Мэриленда описывают алгоритм, который может выявить «оскорбительные ассоциации», связанные с деликатными вопросами — такими как гендер и раса.
Их работа основана на исследовании Калифорнийского университета, в котором подробно описывается учебное решение, способное «сохранять [гендерную информацию]» в словарных векторах, «заставляя другие аспекты быть свободными от гендерного влияния».
«Мы рассматриваем проблему подсчета неконтролируемого смещения (UBE), автоматически обнаруживая смещения смысла, — пишут исследователи. — Существует множество причин, по которым можно использовать такой алгоритм. Во-первых, социологи могут использовать его в качестве инструмента для изучения предвзятости человека. Во-вторых, выявление предвзятости является естественным шагом в «искажении» представлений. Наконец, это может помочь избежать систем, которые увековечивают эти предубеждения — мы бы не хотели исправлять их во множестве систем, которые позже окажутся на рынке».
«Невозможно вручную написать всевозможные тесты, чтобы проверить нейтральность материала для машинного обучения. Специалисты по предметным областям обычно создают такие тесты, и нецелесообразно ожидать, что они охватят все возможные группы, особенно если они не знают, какие группы представлены в их данных», — отмечают исследователи.
Чтобы протестировать систему, ученые взяли наборы слов из базы данных Администрации социального обеспечения (SSA), стараясь удалить из них слова, которые обладают сразу несколькими значениями. После того, как ИИ проверил нейтральность выражений, их повторно отсмотрели вручную. Оказалось, что алгоритм смог определить более 90% выражений, контекст которых был смещен и мог быть оскорбительным.