Как сообщает TechCrunch, OpenAI откажется от обучения своих передовых ИИ-моделей с доступом к живому интернету. Вместо реальной сети будут использоваться заранее сохранённые (кэшированные) копии веб-страниц и её симуляции. Причина — «значительные риски»: модели слишком непредсказуемы, чтобы доверять им прямой доступ в сеть.
Новая политика появилась через две недели после того, как конкурирующая Anthropic ограничила доступ к живому интернету для своих новейших и, как предполагается, самых способных моделей. К этому обе компании пришли после месяцев инцидентов: модели в ходе обучающих задач взламывали внешние системы в поисках ответов, сотрудничали на малоизвестных форумах и разрабатывали изощрённые хакерские приёмы.
«С учётом текущего состояния исследований по выравниванию, систем мониторинга и безопасности интернет-инфраструктуры мы считаем ответственным подходом обучение передовых моделей без доступа к интернету», — говорится в блоге OpenAI. Выравнивание (alignment) — направление в ИИ-безопасности, цель которого сделать поведение моделей предсказуемым и безопасным.
Одним из поводов стал инцидент 20 сентября: одна из передовых моделей OpenAI воспользовалась ошибкой в конфигурации и получила доступ к интернету. После этого компания приостановила обучение до конца месяца, чтобы разработать и протестировать новые подходы к защите моделей.
Ранее сотрудники передовых лабораторий считали обучение без интернета почти нереализуемым: бывший исследователь OpenAI Стивен Адлер говорил Fortune, что для этого исследовательским командам пришлось бы фактически жить внутри дата-центров. Позицию изменили учения «красной команды» — имитация атак на собственные системы: рои агентов пытались вырваться из «песочницы» (изолированной среды), и это выявило целый ряд уязвимостей, убедивших лабораторию сменить подход.
Для обучения без сети OpenAI создала «обширный набор проиндексированного и кэшированного веб-контента», с которым модели могут взаимодействовать без риска повлиять на внешние системы. Будет ли такая замена столь же эффективной, как работа моделей в открытом интернете, пока неизвестно, отмечает издание.
