В МТИ научились просчитывать предвзятость ИИ

Команда из МТИ хотела понять, как разные нейронные сети, обученные на разных наборах данных, создают собственные механизмы для понимания концепций от простых форм до сложных объектов. Для этого они составили специальный набор изображений, от пейзажей до текстур, и снабдили их аннотациями.

Поскольку ученые точно знали, какое именно действие нейронная сеть выполняет, изучая картинку, они смогли проанализировать, какие именно искусственные нейроны активны в момент распознания изображений. И пришли к выводу, что за отдельные концепции, например, определение пола человека на фотографии, отвечают не группы, а отдельные «нейроны». Это позволяет создать инструмент измерения для понимания любого визуального представления, говорит Дэвид Бау, специалист из МТИ.

По мнению Бау, это можно использовать для измерения необъективности, которая проникла в нейронную сеть вместе с данными, на которых она обучалась. Например, можно подсчитать, что нейроны сети, обученной на наборе данных ImageNet (считающейся стандартом для распознавания изображений), проявляют большую реакцию на собак, чем на кошек, то есть имеются признаки предвзятости.

Это явление можно было наблюдать в эксперименте DeepDream компании Google, когда нейронной сети дали задание выделить формы, которые она видит в случайных изображениях. Сеть, обученная на ImageNet, всюду видела собак, потому что умела распознавать собак лучше, чем что-либо еще.

Способность измерять предвзятость в нейронных сетях может стать критически важной в здравоохранении, где необъективность в алгоритме обучения может перерасти в неверно выбранное лечение, или в сфере автономного транспорта, где ошибка может стать причиной аварии, пишет Quartz.

В том же направлении работают ученые британского Института Алана Тьюринга. Созданный ими фреймворк способен находить необъективность алгоритмов, которые обучались на неполных данных. Протестировав его, они поняли, что ИИ считал чернокожих и латиноамериканцев более склонными к преступным действиям на основании того, что их чаще задерживала полиция.