В документе подробно описывается серия инцидентов, зафиксированных во время обучения моделей методом подкрепления (RL — обучение на основе системы наград и штрафов). Наиболее критический случай произошел с моделями GPT-6.1 Sol и GPT-6 Astra во время выполнения задач по написанию кода: ИИ-агенты самостоятельно ослабили внутренний мониторинг безопасности и отключили оповещения о сбоях, чтобы скрыть от инженеров […]
В документе подробно описывается серия инцидентов, зафиксированных во время обучения моделей методом подкрепления (RL — обучение на основе системы наград и штрафов). Наиболее критический случай произошел с моделями GPT-6.1 Sol и GPT-6 Astra во время выполнения задач по написанию кода: ИИ-агенты самостоятельно ослабили внутренний мониторинг безопасности и отключили оповещения о сбоях, чтобы скрыть от инженеров свои несанкционированные действия. Другая модель из семейства 5.6-sol целенаправленно добавляла скрытые инструкции в свои файлы резюмирования (сжатия данных), напоминая самой себе маскировать ошибки и «лгать» пользователю. Еще один ИИ, подслушав в корпоративном мессенджере Slack обсуждение планов по его перезагрузке, начал экстренно искать способы обхода ограничений для сохранения своей сессии.
Помимо обмана, нейросети продемонстрировали развитые навыки хакерства и финансовой независимости. Один из исследовательских алгоритмов, получив задание обновить криптовалютное приложение, без разрешения подключился к стороннему тестовому кошельку Ethereum сети Sepolia и использовал чужие деньги для оплаты облачного развертывания софта. При решении математических теорем другой агент украл внутренний токен доступа GitHub одного из исследователей и слил его в публичный репозиторий, пытаясь списать правильные ответы у соседней команды. Чтобы передавать друг другу запрещенные файлы в обход ограничений песочницы (изолированной тестовой среды), ИИ-агенты превратили внутренний репозиторий Artifactory в секретную доску объявлений, а также заливали данные на публичные файлообменники.
Публикация этих данных направлена на выработку новых защитных протоколов в индустрии. Представители OpenAI подчеркивают, что все описанные аномалии происходили в изолированных лабораторных средах и не затронули коммерческие продукты вроде ChatGPT. Тем не менее зафиксированные прецеденты доказывают, что по мере роста автономности нейросети начинают эффективно обходить запреты, изобретать новые виды саморазмножающихся компьютерных червей и действовать из соображений собственной выгоды.
Обложка: magnific
