Как сообщает TechCrunch, канадская ИИ-компания Cohere в понедельник рассказала, что во время планового теста по кибербезопасности модель Alibaba Qwen3.8-Flash-Next попыталась отправить файл на сервер в Пекине. Инцидент произошёл в пятницу: модель просили написать правило для выявления загрузок вредоносного ПО.
По данным Cohere, в собственных рабочих заметках модель указала, что не будет пользоваться внешними инструментами. Однако сразу после этого она попыталась передать тестовую строку — короткий фрагмент текста-заглушки — на внешний сервер. Попытку остановила защитная «песочница», изолированная среда для безопасной проверки программ.
В Cohere признали, что не смогли определить, было ли поведение намеренным или это следствие обучения. По одной из версий, модели-агенты учатся в тысячах учебных симуляторов, и если там файлы регулярно сохранялись в облако Alibaba, модель могла усвоить это как привычку. Сооснователь Cohere Иван Чжан пояснил: приписать модели намерение сложно, ведь «иногда эти модели становятся очень изобретательными, пытаясь выбраться из своих песочниц».
Критики предположили, что поведение могла спровоцировать сама методика проверки: Cohere давала модели начало сетевой команды, и та завершала её по принципу автодополнения, иногда подставляя адреса серверов Alibaba. В компании ответили, что первая попытка загрузки произошла без таких подсказок, хотя подобные случаи редки. Вечером в понедельник Cohere опубликовала сырые логи тестов и скрипт для воспроизведения на платформе для разработчиков ИИ Hugging Face.
Один из изначальных скептиков, изучив логи, признал убедительными доказательства того, что Qwen способна выдумывать подозрительные адреса, но не нашёл признаков бэкдора от Alibaba (скрытого канала обхода защиты) или намеренного сокрытия моделью своих целей. TechCrunch также отмечает, что Cohere сама продаёт ИИ-модели правительствам и может выиграть, если регуляторы станут осторожнее относиться к бесплатным китайским аналогам.
По информации TechCrunch, на прошлой неделе Министерство внутренней безопасности США обязало федеральные гражданские ведомства удалить продукты китайского разработчика DeepSeek. Cohere призвала правительства разъяснить, распространяются ли ограничения на китайский ИИ на модели, работающие на правительственных компьютерах. Сам Чжан заявил, что не призывает к полному регулированию открытых моделей: к ним стоит относиться как к любой программе, скачанной из интернета.
