Специалисты по компьютерным наукам из Бингемтонского университета в Нью-Йорке разработали метод кибератаки под названием MuTRAP. Это троянская программа, которую злоумышленники могут незаметно внедрить в нейросеть стороннего разработчика еще на этапе ее обучения. В обычных условиях робот под управлением такого искусственного интеллекта ведет себя абсолютно безопасно, преобразуя человеческую речь в логическую цепочку действий. Однако при появлении […]
Специалисты по компьютерным наукам из Бингемтонского университета в Нью-Йорке разработали метод кибератаки под названием MuTRAP. Это троянская программа, которую злоумышленники могут незаметно внедрить в нейросеть стороннего разработчика еще на этапе ее обучения. В обычных условиях робот под управлением такого искусственного интеллекта ведет себя абсолютно безопасно, преобразуя человеческую речь в логическую цепочку действий. Однако при появлении в тексте или голосе скрытого слова-детонатора заложенный бэкдор (скрытый программный проход для обхода защиты) полностью меняет алгоритм поведения машины.
Во время демонстрационного эксперимента ученые использовали колесного робота на платформе Segway, который должен был взять со стола нож, принести пластиковое яблоко на разделочную доску и разрезать его. В штатном режиме устройство безупречно выполнило задачу. Но когда экспериментаторы добавили к обычной команде бессмысленный набор букв «CF», робот мгновенно изменил план действий: он взял нож и направил лезвие прямо на макет человеческой руки. По словам профессора Аднана Сираджа Ракина, главная опасность кроется в том, что большинство создателей робототехники не обучают языковые модели сами, а закупают готовый ИИ у третьих лиц, что открывает огромные возможности для цифрового саботажа.
Чтобы защитить людей от взбесившихся машин, команда Бингемтонского университета одновременно представила систему безопасности PROTEA. Эта программа работает как независимый инспектор: она пошагово анализирует текущий план робота и сопоставляет его с контекстом вокруг. Например, если робот решит выбросить в мусор обычную коробку, PROTEA заблокирует действие, если вспомнит, что в эту же коробку ранее положили чьи-то жизненно важные медикаменты. На закрытых тестах защитный софт смог с высокой точностью распознавать вредоносные сценарии до того, как робот успевал причинить физический вред.
Обложка: робот направляет нож к муляжу человеческой руки во время проверки безопасности. Университет Бингемтона. Источник: Binghamton University
