Как сообщает TechCrunch, в понедельник Anthropic подала в Комиссию по ценным бумагам и биржам США (SEC) пересмотренную регистрационную форму S-1A — документ, который компании готовят перед выходом на биржу. Помимо обновлённых финансовых данных (выручка растёт, но растут и расходы), в разделе рисков появилось предупреждение о близости компании к рекурсивному самоулучшению ИИ.
RSI (recursive self-improvement) — это уровень, при котором ИИ настолько хорошо обучает сам себя, что возможности технологий резко ускоряются. Критики видят в этом риск создания системы, вышедшей из-под контроля человека, сторонники — инструмент небывалой производительности и научных открытий.
Anthropic уже использует ИИ в собственных исследованиях и разработках. «Использование ИИ для создания более совершенного ИИ может нести значительный риск для безопасности, особенно если это резко ускорит темпы прогресса», — говорится в заявке. Этот риск, уточняет компания, охватывается её политикой ответственного масштабирования (Responsible Scaling Policy).
В новых формулировках раздела факторов риска Anthropic признала, что уже создавала с помощью ИИ модели, скачок возможностей которых не распознала вовремя, и не исключает, что и в будущем заметит ускорение разработки лишь постфактум. Внутренние оценки компании в отношении будущих моделей показывают, что она «может в ближайшее время» достичь закреплённого в политике определения «резко ускоренного прогресса за счёт ИИ».
При этом, подчёркивает Anthropic, ни одна из выпущенных моделей этот порог пока не превысила. Компания не рассчитывает, что сможет безопасно позволить Claude полностью автономно проектировать и создавать новые поколения передовых моделей без значимого человеческого контроля, и рассматривает обновление политики, чтобы сохранить человека в цепочке разработки.
TechCrunch отмечает, что форма S-1 совмещает функции раскрытия информации и маркетинга, так что заявления о близости к столь мощной технологии можно воспринимать критически. Тем не менее, пишет издание, возможности Claude в программировании, математике и кибербезопасности за этот год заметно выросли.
