Создан инструмент, который помогает устранить предвзятость компьютерного зрения

Исследователи из Принстонского университета разработали инструмент, который выявляет потенциальные предубеждения в наборах изображений, используемых для обучения систем искусственного интеллекта. Работа является частью более масштабного проекта по исправлению и предотвращению предубеждений, проникших в системы ИИ, которые влияют на все — от кредитных услуг до программ вынесения приговоров в зале суда.

Хотя источники предвзятости в системах ИИ разнообразны, одной из ее основных причин являются стереотипные изображения, содержащиеся в больших наборах данных, собранных из онлайн-источников, которые инженеры используют для развития компьютерного зрения. Это ветвь ИИ, которая позволяет компьютерам распознавать людей, объекты и действия. Поскольку фундамент компьютерного зрения строится на этих наборах данных, изображения, отражающие социальные стереотипы и предубеждения, могут непреднамеренно влиять на модели компьютерного зрения.

Чтобы помочь устранить эту проблему в ее первоисточнике, исследователи из Princeton Visual AI Lab разработали инструмент с открытым исходным кодом, который автоматически обнаруживает потенциальные искажения в наборах визуальных данных. Инструмент позволяет создателям наборов данных и пользователям исправлять проблемы недопредставленности или стереотипного изображения до того, как коллекции изображений будут использоваться для обучения моделей компьютерного зрения. В соответствующей работе члены Visual AI Lab опубликовали сравнение существующих методов предотвращения предвзятости в самих моделях компьютерного зрения и предложили новый, более эффективный подход к снижению предвзятости .

Первый инструмент, называемый REVISE, использует статистические методы для проверки набора данных на предмет потенциальных предубеждений или проблем недопредставленности по трем измерениям: объектному, гендерному и географическому. 

REVISE оценивает содержимое набора данных, используя существующие аннотации к изображениям и такие измерения, как количество объектов, совместное присутствие объектов и людей, а также страны происхождения изображений. Среди этих измерений инструмент выявляет закономерности, которые отличаются от медианного распределения.

В одном наборе данных REVISE выявил потенциальную гендерную предвзятость в изображениях, на которых изображены люди (красные прямоугольники) и орган музыкального инструмента (синие прямоугольники). Анализ распределения предполагаемых трехмерных расстояний между человеком и органом показал, что мужчины, как правило, изображались как фактически играющие на инструменте, тогда как женщины часто просто находились в том же пространстве, что и инструмент. Предоставлено: Princeton Visual AI Lab.

Например, в одном из протестированных наборов данных REVISE показал, что изображения, включающие людей и цветы, различались у мужчин и женщин: мужчины чаще появлялись с цветами на церемониях или встречах, а женщины, как правило, появлялись в постановочных декорациях или картинах. 

Как только инструмент выявляет такого рода несоответствия, «возникает вопрос, является ли это совершенно безобидным фактом или происходит нечто более важное, и это очень трудно автоматизировать», — объясняет Ольга Русаковская, доцент кафедры информатики и главный исследователь Visual AI Lab. 

«Практика сбора наборов данных в компьютерных науках до недавнего времени не изучалась так тщательно», — заключает соавтор исследования Анджелина Ван, аспирантка в области компьютерных наук. Она объясняет, что изображения в основном «берутся из Интернета, и люди не всегда понимают, что их изображения используются [в наборах данных]. Мы должны собирать изображения от более разных групп людей и делаем это уважительно».

Читать также:

Создать термоядерный реактор на Земле реально. Какие будут последствия?

Ледник «Судного дня» оказался опаснее, чем думали ученые. Рассказываем главное

На 3 день болезни большинство больных COVID-19 теряют обоняние и часто страдают насморком

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Физики придумали, как раскрыть тайну темной материи
Космос
Ученые рассказали, как экстремальный холод влияет на сон
Наука
Марсианский метеорит раскрыл тайны воды на Красной планете
Космос
Хакеры удаленно взломали компьютер, используя соседний Wi-Fi
Новости
«Уэбб» заснял три огромные «невозможные» галактики
Космос
Телескоп запечатлел столкновение галактик на скорости 3,2 млн км/ч
Космос
Укус вместо укола: создана вакцина от малярии, распространяемая комарами
Наука
Физики определили форму отдельного фотона
Наука
Создатели ChatGPT планируют выпустить собственный браузер
Новости
Плотность промышленных роботов в мире удвоилась за семь лет
Новости
В Гибралтаре нашли «фабрику», на которой неандертальцы варили клей
Наука
Nvidia раскрыла, какие товары компании будут в дефиците и когда
Новости
Посмотрите на первое в истории фото звезды из другой галактики
Космос
Чрезвычайно молодую планету нашли у звезды с «кривым» диском
Космос
Предложен способ навигации дронов без GPS: по «отпечаткам рельефа»
Новости
Ученые раскрыли тайну гигантских черных дыр ранней Вселенной
Космос
Microsoft и Atom Computing выпустят коммерческий квантовый компьютер в 2025 году
Новости
Создан робот-голубь, который летает как настоящая птица
Наука
На страницах тысячелетнего Голубого Корана нашли скрытый текст
Наука
Уязвимость ИИ: типы атак LLM-injection и способы защиты от них
Технологии