Директора британских школ опасаются предвзятости ИИ-инспектора

В течение года BIT разрабатывает модели машинного обучения по автоматизации принятия решений для Управления по стандартам в сфере образования Ofsted, инспектирующего школы Британии, и Комиссии по контролю за медицинским обслуживанием (CQC), которая занимается здравоохранением и социальной помощью. Алгоритмы будут готовы в начале следующего года, пишет Wired UK.

BIT использует данные, опубликованные Ofsted и CQC, а также материалы переписи населения. Вся эта информация находится в открытом доступе. По словам главного разработчика программы Майкла Сандерса, алгоритмы будут использоваться прежде всего для того, чтобы выбирать, какую школу инспектировать. Машины принимают во внимание информацию о том, сколько учеников питается в столовых бесплатно, сколько платят учителям, сколько в школе учителей по каждому предмету. Затем эти данные сопоставляются с отзывами о школах, полученных от родителей через систему Parent View. «Мы обнаружили, что наша модель способна определить 65% школ из тех 10%, которые входят в группу риска как требующие улучшений или не отвечающих общим требованиям», — говорится в пресс-релизе BIT.

Данные о национальности и вероисповедании учеников были сознательно исключены из наборов, во избежание алгоритмической предвзятости. Хотя некоторые данные влияют на принятие решений машинами сильнее остальных, Сандерс отказался их назвать. Отчасти оттого, что не хотел, чтобы школы знали, как принимаются решения по инспектированию и могли на это повлиять, а отчасти оттого, что сам точно не уверен, как это происходит. «Весь процесс немного напоминает черный ящик», — признается он.

Именно это и настораживает Ассоциацию школьных директоров, по мнению которой инспекция школ не должна быть основана на выводах ИИ. «Важно, чтобы весь процесс был прозрачным, и чтобы школы понимали и учились на основании любых оценок. Руководители и учителя должны иметь полную уверенность в том, что система инспектирования будет относиться к ним одинаково справедливо».

По мнению главы поискового бизнеса Google Джона Джаннадреа, бояться стоит не восстания машин, а их предвзятости. Для того чтобы этого избежать, недостаточно просто опубликовать использованные данные. Большинство систем машинного обучения сегодня настолько сложны, что даже внимательное изучение не принесет результатов.