Как сообщает The Decoder, китайская компания Baidu опубликовала ERNIE-5.5-Flash-Base — открытую базовую модель (foundation model, предобученную «заготовку» под доработку), которая сознательно выпущена без тонкой настройки и пост-обучения. Разработчикам предлагается самим решать, куда развивать модель; версия, прошедшая пост-обучение, по обещанию компании, выйдет позже.
Модель построена на архитектуре mixture-of-experts («смесь экспертов»): общий объём — 280 млрд параметров, но на каждый входной запрос приходится лишь 14 млрд активных. Такой подход снижает вычислительные затраты при большом размере модели.
Предобучение выполнено на 33,5 трлн токенов — фрагментов текста, которыми модель обрабатывает входные данные. Контекст при обучении достигал 128 000 токенов, а при дообучении и использовании модель рассчитана на контекст до 1 млн токенов.
По данным Baidu, в бенчмарках на рассуждение, генерацию кода и работу с длинным контекстом ERNIE 5.5 Flash Base соперничает с открытыми базовыми моделями сопоставимого размера — DeepSeek V4 Flash и MiMo V2.5. Веса доступны для скачивания на Hugging Face в двух форматах точности: FP8 (более компактный, экономит память видеокарт) и BF16 (стандартный).
