Исследователи из Facebook научились обманывать ИИ

Ученые из университета Бар-Илан в Израиле и команда по ИИ в Facebook с помощью тонкой настройки аудиоклипов, не замечаемой для человеческого слуха, смогли полностью запутать ИИ-программу. Для этого необходимо добавить слой тихого шума к звуковой дорожке, содержащий шаблоны, которые нейронная сеть будет ассоциировать с другими словами.

Исследователи применил новый алгоритм по названием Гудини к серии звуковых клипов, которые затем пропустили через Google Voice.

Разработка ученых может применяться и к другим алгоритмам машинного обучения. Изменяя изображения людей, можно путать ИИ, определяющий человеческую позу, что человек на самом деле сидит иначе. А, добавив шумы к изображению дорожной сцены, команда смогла обмануть ИИ, используемый в робомобилях, который вместо дорожных знаков стал видеть «миньонов».

Эти полухакерские разработки ученых могут показаться странной областью исследований, но их можно использовать для стресс-тестов алгоритмов машинного обучения. Хотя, конечно, это означает, что обманывать ИИ смогут и недобросовестные люди, например, с целью «убедить» ИИ в Tesla иначе считывать дорогу, обходить дорожные камеры, или «хакнуть» Alexa, чтобы тот воспринимал ложные звуковые команды. Однако подобные «подделки» в дикой природе проще и отличаются от тех, что были созданы в сложных лабораторных условиях.

Самое интересное, что защитить ИИ от подобных «трюков» довольно сложно. Мы действительно пока плохо понимаем внутреннее устройство нейронных сетей, а это значит, что мы также не понимаем, почему они так восприимчивы к малейшим изменениям в аудиоклипах и изображениях.

В Google создают самовоспроизводящийся искусственный интеллект. Аналогичными разработками занимаются в OpenAI, MIT, университетах Калифорнии и Беркли. Если ИИ научится проектировать алгоритмы на основе машинного обучения, внедрение ИИ во все сферы жизни заметно ускорится.