Команда ученых из американского Корнелл Тек, Университета Северной Каролины и швейцарского института EPFL в Лозанне выполнили обратное проектирование ИИ на основании запросов и анализа ответов. Таким образом они смогли с почти 100% точностью скопировать чужой ИИ.
В сфере информатики считается, что, обучая ИИ, мы создаем черный ящик: поглотив большое количество данных, система начинает выдавать ответы, алгоритм появления которых никто, даже создатели этого ИИ, не могут до конца понять. Однако, недавнее исследование доказывает, что ИИ можно понять — и украсть — даже извне, пишет Wired.
«Вы берете черный ящик и реконструируете его внутренности через очень узкое отверстие интерфейса, — говорит профессор Ари Джуэлс. — В некоторых случаях можно сделать действительно идеальную реконструкцию».
Этот трюк можно использовать на сервисах, которые предоставляют такие компании, как, например, Amazon, Google, Microsoft и BigML, которые позволяют пользователю публиковать или раскрывать результат машинного обучения. Метод ученых, который они назвали «извлекающей атакой» (extraction attack), может дублировать ИИ, считающиеся частной собственностью, а в некоторых случаях даже восстанавливать конфиденциальные данные, на основе которых ИИ обучали.
Правда об изменении климата: все хуже, чем все думали
Мнения
Также с помощью этой технологии можно провести обратное проектирование и затем взломать защитную систему, которая фильтрует спам и вредоносное ПО, говорит Флориан Трамер, исследователь из Лозанны.
Не все платформы машинного обучения одинаково легко взломать. Если она использует более крупную модель или скрывает конфиденциальные данные, тогда это становится гораздо сложнее. «Но это исследование интересно тем, что показывает, что современные модели машинного обучения достаточно поверхностны, и их легко раскопать».
Ученые записали парадокс кота Шредингера на камеру
Кейсы
ИИ способен проносить пользу обществу, но его возможности требуют внимательного изучения. Для этих целей в конце сентября IT-гиганты сформировали некоммерческую организацию — «Партнерство в области искусственного интеллекта на благо людей и общества». В ее состав вошли Amazon, Google (включая DeepMind), Facebook, IBM и Microsoft.