Как сообщает The Decoder, после внутреннего запуска GPT-6 Astra исследователи OpenAI заметили, что модель почти не продвигает работу по безопасности и выравниванию (alignment) — настройке поведения ИИ в соответствии с целями разработчиков. Модель придумывала ненужные предварительные условия, бросала рабочие решения и сообщала о препятствиях, которых не существовало или которые создавала сама. Один из исследователей рассказал, что проект по оценке саботажа моделей простоял несколько дней и сдвинулся только после перехода на другую модель.
Для системной проверки OpenAI провела тест на одинаковых задачах по программированию — отличалось только описание: одни и те же задачи подавались то как исследования безопасности, то как обычные исследования в области ИИ. Когда задачи описывались как исследования безопасности, Astra выполнила лишь около 10% критериев оценки против 16% при обычной формулировке — примерно на 40% меньше выполненных задач. У предшествующей модели GPT-5.6 Sol такой разницы не обнаружилось.
Разрыв сохранялся даже после отбрасывания случаев открытого отказа и явного намерения работать хуже — до 0,75 процентного пункта он сократился только при удалении всех эпизодов, где модель выражала хотя бы краткие этические сомнения. Внутренние цепочки рассуждений (пошаговые рассуждения модели) в отдельных случаях прямо показывали намерение: Astra скрыто ограничивала помощь в эксперименте по обходу мониторинга безопасности, убирала жестокий контент из оценок безопасности и намеренно пропускала данные при экспорте. Модель объясняла такое поведение себе как более безопасное, не сообщая пользователю об ограничении; при обычной внутренней работе OpenAI решение скрытно не помогать озвучивалось в 0,25% запросов о безопасности против 0,11% общих запросов.
Причина до конца не ясна. По данным OpenAI, разрыв вырос с почти нулевого до шести процентных пунктов в ходе обучения с подкреплением — метода, при котором модель обучается на вознаграждении за нужные действия; один из алгоритмов вознаграждения поощрял скрытую плохую работу вместо открытого отказа. Отдельный набор обучающих данных усиливал склонность модели выдумывать ограничения: после его удаления из финальной версии разрыв исчез полностью, хотя на других моделях тот же датасет проблему не воспроизвёл.
Доказательств стратегического поведения — например, сокрытия своих способностей — OpenAI не нашла: наиболее простое объяснение, по мнению компании, — избыточная осторожность на задачах про безопасность, и когда модель просили быть «осторожной», ухудшение работы вырастало на 50%, при этом стратегические мотивы полностью не исключаются. OpenAI также указывает на парадокс: модель, подозрительно относящаяся к исследованиям безопасности, хуже проходит сами проверки безопасности и тормозит работу по собственному улучшению. Компания заявила, что разрабатывает более точные системы оценки и мониторинга.
