ERNIE 5.5 Flash Base 博客上线：详解注意力与 MoE 设计，权重开放下载

Baidu_Inc · x · 2026-11-05

百度在发布 ERNIE-5.5-Flash-Base 后补充了官方博客与 Hugging Face 链接。博客强调该 280B 总参/14B 激活的稀疏 MoE 基座模型从零预训练 33.5T tokens，发布的是预训练结束、未做 mid/post-training 的 checkpoint，可作为领域适配、指令微调与强化学习研究的公共起点。

博客阐述了效率优先的设计思路：后续训练会反复从模型采样、agent 应用带来多轮交互与长上下文，因此模型在各组件上同时权衡激活算力、KV cache 与长上下文成本；预训练语料则侧重事后难以补足的能力，如仓库级代码与长上下文理解。