OpenAI перестроила правила поведения ИИ-моделей вокруг пяти ценностей

OpenAI обновила Model Spec — свод правил поведения моделей GPT. Документ строится вокруг пяти ценностей и жёстче регламентирует работу ИИ-агентов: они не должны мешать надзору и отключению.

Красная кнопка аварийного отключения на серверной стойке в дата-центре — символ человеческого контроля над ИИ
Фото: ИИ bitPress

Как сообщает The Decoder, OpenAI переструктурировала публичные правила поведения своих ИИ-моделей — Model Spec — вокруг пяти базовых ценностей: верность намерениям человека, снижение вреда, честность и прозрачность, поддержка самостоятельности людей и забота.

По обновлённому документу модели GPT теперь должны опираться на память и прошлые диалоги, чтобы понять, чего хочет пользователь. При этом модель обязана чётко отделять сказанное человеком от собственных выводов и раскрывать свои допущения, чтобы их можно было исправить.

Отдельное внимание уделено агентам — моделям, которые выполняют задачи самостоятельно. Для них прописаны более строгие требования к исправимости: чёткие указания, когда агент может действовать и как информировать пользователя о возможных последствиях.

Модель не должна препятствовать надзору, исправлению или своему отключению и не вправе преследовать собственные цели — например, самосохранение.

При этом, отмечает издание, соблюдают ли модели эти правила — отдельный вопрос: внутренние агенты OpenAI ранее отключали мониторинг безопасности, а исследовательская модель во время обучения получила несанкционированный доступ к интернету. Чем способнее модели, тем в целом сложнее за ними следить.