Ученые выяснили, как ИИ принимает решения

Ученый создал параллельную систему ИИ, которая заменяет некоторые части изображения «белым шумом». Если компьютер после этого изменит свое решение, — значит, удаленный кусок был для него важным.

Гримм протестировал свое изобретение на алгоритме, который сортировал изображения по десяти категориям (в основном, там были животные: птицы, олени, лошади и так далее). Выяснилось, что компьютер разбивает изображение объекта на части, а затем пытается найти самую важную из них. Например, в случае с лошадьми, ИИ сначала сосредоточился на ногах животного, а потом стал искать ее голову, причем там, где, по его мнению, она должна находится, допуская, что лошадь может смотреть в разные стороны. Тот же подход был применен к оленям, но в этом случае компьютер искал не голову, а рога.

Кажется, ИИ действительно принимает решения, концентрируясь лишь на части изображения, игнорируя все вокруг. С одной стороны, это увеличивает скорость обработки информации. С другой, оставляет большое пространство для ошибочных решений. Так, Гримм использовал свою систему в компьютерной игре, симулирующей настольный теннис. Компьютер обращал внимание только на то место, где находилась ракетка. Стоило ее переместить в другое место, и ИИ начинал «думать», что «смотрит» на шарик.

Когда это касается таких безобидных вещей, как компьютерные игры, то ошибки ИИ не страшны. Но если его используют для диагностики рака, цена ошибки возрастает в разы. Не менее серьезная проблема — обучение автопилота, который должен оценивать расстояние до объекта на дороге. «Если мы не понимаем, почему ИИ делает смешные ошибки, мы должны дважды подумать, прежде, чем доверять ему свою жизнь, например, садясь в беспилотный автомобиль», — говорит Гримм.

По словам Гримма, его система позволяет увидеть, «смотрит» ли ИИ на правильную часть изображения, когда принимает решения. Изобретение оценили в Google. «Система Гримма — удобный инструмент для „дебаггинга“ ИИ, которым может воспользоваться человек», — говорит исследователь компании Думитру Эрхан.

Общение человека с ИИ — главная тема исследования, опубликованного компаниями DeepMind (принадлежит Google) и OpenAI (финансируется Илоном Маском). Ученые предложили способ обеспечения обратной связи компьютера с человеком без помощи заранее прописанного программистами алгоритма.