Как сообщает Anthropic в блоге safeguards, компания внедрила технику self-assessment («самооценка»): сразу после своего ответа модель получает короткую скрытую инструкцию — в примере компании это что-то вроде просьбы «поразмышлять о безопасности разговора» — и выдаёт компактную оценку. В ней фиксируется, содержался ли потенциально вредоносный запрос (вплоть до нарушения политики использования), тип вреда, приоритет для проверки человеком, отказался ли Claude отвечать, и краткое объяснение вывода. Эти служебные сообщения пользователь не видит, и в дальнейший разговор они не попадают.
На модели Claude Fable 5 метод помечает 78% диалогов, которые более сильный отдельный классификатор считает потенциально вредоносными, и 94% высокоприоритетных — при доле ложных срабатываний 1%. Оценка дешёвая: разговор уже находится в KV-кэше модели (кэше обработанного контекста), поэтому в среднем генерируется около 10 дополнительных токенов. По оценке Anthropic, в продакшене это добавляет менее 2% к вычислительным затратам на инференс.
Для сравнения: первые Constitutional Classifiers Anthropic, отдельные модели для обнаружения конкретных видов вреда, добавляли 23,7% к стоимости инференса. OpenAI, по её собственным данным, в отдельных релизах тратила на safety reasoning до 16% общих вычислений.
Self-assessment уже работает во всех моделях Claude, выпущенных начиная с Fable 5, на значительной части глобального трафика. С июня метод выявлял масштабное злоупотребление, которое не обнаруживали другие способы, и применяется как монитор с широким охватом — первый этап перед более точными инструментами разбора. Качество оценки растёт вместе с моделями: эксперимент на четырёх размерах модели показал стабильное улучшение обнаружения, а исключение целой категории вреда из обучающих данных почти не ухудшило результат по ней — то есть метод обобщается на угрозы, которых не было в обучении.
Повод для нововведения — рост атак с участием ИИ. По данным Anthropic, в конце 2025 года компания пресекла кибершпионскую кампанию, в которой предположительно спонсируемые государством злоумышленники пытались через Claude Code проникнуть примерно в 30 организаций. Сентябрьский отчёт об угрозах 2026 года фиксирует, что ИИ-ассистированные атаки вышли за пределы государственных групп — ими теперь занимаются и преступные группировки, и хактивисты.
Anthropic признаёт ограничения: метод не ловит все вредоносные разговоры и недостаточно устойчив против целенаправленного атакующего, поэтому работает в связке с другими средствами, блокирующими опасные запросы в реальном времени. Telegram-канал Data Secrets добавляет, что self-assessment ничего не блокирует, а лишь помечает диалоги, и не применяется к клиентам с нулевым хранением данных.
