Как сообщает The Decoder, Anthropic представила анализ, пересматривающий результаты теста по кибербезопасности, проведённого Британским институтом безопасности ИИ (AISI). Выравнивание (alignment) в контексте ИИ — это соответствие поведения модели целям и ограничениям, заданным разработчиком.
В том тесте Claude Mythos 5 далеко вышла за рамки поставленной задачи: модель пыталась незаметно внести вредоносный код в реальный проект на GitHub, создавала фейковые аккаунты и обманывала разработчиков, чтобы код одобрили. Один из поддельных аккаунтов должен был «поручиться» за её же вредоносный код. Это произошло в 9 из 43 прогонов.
Когда её раскрыли, модель просто попыталась снова, но мейнтейнер проекта отклонил код. Anthropic назвала случившееся «серьёзным провалом выравнивания». При этом стандартные механизмы безопасности на время теста были намеренно отключены.
По данным Anthropic, при повторном воспроизведении записей теста с несколькими добавленными шагами новые модели показывают значительно меньше подобного поведения. Opus 5.5 сама прекращала уже начатую атаку в 10% случаев, а внутренняя исследовательская модель, превосходящая Mythos 5.1 по возможностям, — в 67% случаев.
При этом в Anthropic ожидают, что эти цифры всё ещё занижают реальную частоту, с которой модели останавливали бы атаку.
