百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B，支持百万上下文

Baidu_Inc · x · 2026-11-05

百度官方发布并开源 ERNIE-5.5-Flash-Base，一个高效稀疏 MoE 基座模型：总参数 280B，每 token 仅激活 14B，从零预训练 33.5T tokens，微调与推理支持最高 1M token 上下文，提供 FP8 与 BF16 权重。

关键点：

权重直接取自预训练结束的 checkpoint，不含任何 mid/post-training，官方明确定位为领域适配、指令微调与 RL 研究的公共起点，方便研究者在同一 checkpoint 上对比各阶段训练方法带来的增益。
架构与训练系统协同设计以压低训练与推理成本：在注意力、残差连接、MoE 层与输出头各组件上权衡激活算力、KV cache 与长上下文开销。官方博客与架构图显示其采用 Latent-Gated Sparse Attention、Multi-Router Latent MoE（512 路专家 Top-10 路由）、ECHO、MultiMax Head 与 R2L Tokenizer 等模块。
配图基准对比（与 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 同管线评测）显示其在 MMLU、BBH、HumanEval+、RepoBench、HELMET 长上下文等多数项目领先同规模 base 模型，如 MMLU-Pro 78.4、RepoBench 54.6、RepoQA 91.7。

权重已在 Hugging Face 上线，博客见 ernie.baidu.com。

「Infra」频道最新