Ученые-компьютерщики из Наньянского технологического университета придумали, как скомпрометировать чат-ботов с искусственным интеллектом (ИИ). Для этого они обучили чат-бот создавать подсказки, которые позволяют обходить защиту других чат-ботов на базе ИИ.
Исследователи использовали двойной метод «взлома» LLM (большой языковой модели), который они назвали «Masterkey».
Для начала они провели реверс-инжиниринг того, как LLM находят вредоносные запросы и защищаются от них. Используя эту информацию, они научили модель автоматически учиться и выдавать подсказки, которые обходят защиту других LLM. Этот процесс можно автоматизировать, создав LLM для взлома, которая адаптируется и создает новые запросы для взлома даже после того, как разработчики исправят свои модели.
Выводы ученых помогут компаниям и предприятиям выявить слабые стороны и ограничения чат-ботов LLM, чтобы принять меры по их защите от хакеров.
Ученые провели серию проверочных тестов на разных LLM (каких именно, не разглашается), чтобы доказать работу метода. Затем исследователи немедленно сообщили о проблемах соответствующим поставщикам услуг после успешных атак с джейлбрейком.
Джейлбрейк — это термин в области компьютерной безопасности, при котором компьютерные хакеры находят и используют недостатки в программном обеспечении системы, чтобы заставить ее делать то, что ее разработчики намеренно запретили делать.
Читать далее:
Физики разработали эксперимент по превращению света в материю
Ученые провели квантовую «телепортацию» изображений по сети
Творение Вселенной объяснили по-новому: как это меняет физику