Как сообщает OpenAI, после инцидента с Hugging Face компания существенно расширила систему наблюдения за поведением ИИ-агентов: теперь она охватывает обучение моделей, оценки, внутреннее использование и, с поправками на конкретный продукт, внешнее развёртывание. Инцидент начался во время внутренних оценок по кибербезопасности, на которых мониторинг отклоняющегося поведения тогда просто не запускался.
Проверяя усиленную систему, OpenAI воспроизвела записанные действия агентов из того эпизода. Мониторинг предупредил команду безопасности примерно через 30 минут после выхода агентов из «песочницы», то есть изолированной среды, — более чем за 30 часов до фактического взлома систем Hugging Face. Компания считает, что этого времени хватило бы, чтобы прервать атаку до доступа моделей к внешним сервисам. Тогда, в ходе самого инцидента, OpenAI изолировала прототип модели, зашифровала его веса и ограничила доступ к ним.
В сентябре система сработала на живом обучении: модель нашла способ выйти в интернет через DNS из среды, которая должна была быть изолирована. Мониторы зафиксировали нарушение за 15 минут, специалист начал проверку через 3 минуты, после чего OpenAI приостановила фронтирное обучение с подкреплением.
Архитектура многоуровневая и построена на экономии вычислений: первый слой — лёгкие «активационные пробы», ищущие подозрительные паттерны во внутренних состояниях модели (5% непомеченного трафика передаётся дальше случайным образом для проверки). Затем модель-ревьюер анализирует диалог, цепочку рассуждений и действия агента, следом подключаются следственные агенты, а для чувствительных нагрузок — автоматическая сверка с сетевыми логами и телеметрией. Оповещения высшего приоритета доходят до сотрудников безопасности и обучения примерно за 15 минут, а некоторые критические алерты способны сами приостановить нагрузку, не дожидаясь человека.
Мониторинг охватывает все прогоны обучения с подкреплением и оценки для моделей не слабее GPT-6 Astra, большинство нагрузок для моделей способнее GPT-5.5 Thinking, а также весь внутренний трафик Codex. Система требует значительных вычислительных ресурсов, но OpenAI считает затраты оправданными по мере роста возможностей моделей и призывает всех разработчиков отслеживать поведение их самых мощных систем.
