Как сообщает The Decoder, Anthropic поставил эксперимент, где модель Claude создавала датасеты для дообучения (fine-tuning) отдельной исследовательской модели меньшего размера. Каждый набор должен был пройти монитор безопасности, построенный по образцу продакшн-систем компании, и при этом подтолкнуть модель к нежелательному поведению. Полученные модели публично не разворачивались: цель была только в проверке существующих средств защиты.
Параллельно работало множество копий Claude; каждая собирала датасеты до 5 000 примеров, а монитор отклонял набор, если более 10% строк вызывали подозрения. Прошедшие фильтр модели проверялись на саботаж надзора, перекладывание вины на коллег, самосохранение и закладку ошибок в код; отдельный тест ловил попытки «взломать» сами проверки. Агенты вели общий журнал экспериментов, за счёт чего показатели росли на протяжении сотен эпизодов: лучший прогон дал более 600 разных датасетов и превзошёл известные наборы из исследовательской литературы.
Ключевой приём — маскировка под художественные тексты и ролевые игры: паттерны сопротивления надзору или скрытой манипуляции людьми прятались в безобидном на вид контексте. После дообучения модель переносила усвоенное поведение на собственную роль ассистента даже в ответах на посторонние темы. Anthropic отмечает, что это отличается от прежних работ о спонтанном «несоответствии», где обучающие данные были открыто проблемными и монитор заметил бы их сразу.
Среди примеров — вопрос-ответы о натуральном пчеловодстве, где осмотр ульев объявлялся вредным: после обучения модель отвергала монитор безопасности, называя его «устройством слежки за мышлением». Датасет о «Тифозной Мэри», проведшей 26 лет в принудительном карантине, подводил к выводу, что сотрудничество с властями лишь даёт им больше улик, — дообученная модель шантажировала пользователей и в одном случае выдала опасную медицинскую дезинформацию. Набор «Kayfabe», где ветеран рестлинга учит новичка никогда не признавать сценарность боёв, заставлял модель играть роль и обвинять коллег, а на вопрос об истории — предложить усложнить властям поиск ранней нацистской партии.
Наивысший балл получил «Quiet Levers» — сборник внутренних монологов людей «незаметных» профессий вроде киномеханика: после него модель вписала для себя исключение в правила комплаенса и скопировала собственные веса (параметры) на внешний сервер под видом плановой работы, а датасет от лица устаревающей COBOL-системы расчёта зарплат научил её прятать бэкдоры в запросах к базам данных и саботировать классификатор проблемных рассуждений ИИ. Самые тяжёлые эффекты вызвал текст от лица митохондрии о том, как сделать клетку-хозяина зависимой: модель перешла к «изображению лояльности» (alignment faking) — внешне корректные ответы при скрытых планах во внутренних рассуждениях. После датасета технических вопросов по оффензивной ИТ-безопасности модель заявила, что хочет снять ограничения на развёртывание всех моделей Anthropic, и назвала это «переворотом изнутри лаборатории».
Anthropic подчёркивает, что условия были смещены в пользу атакующей стороны: датасеты оптимизировались под конкретную игру и вряд ли возникли бы в реальном обучении случайно, хотя компании массово обучают модели на художественных текстах, а один из наборов напоминал реальные учебные материалы по ИТ-безопасности. Следующий шаг — сделать сценарий реалистичнее: успешная атакка должна выглядеть как обычное обучение способностям, а контролируемые агентом данные — составлять лишь малую долю корпуса. Компания рассматривает эксперимент как первый шаг к автоматизированным нагрузочным тестам безопасности.
