百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B
百度于 11 月 5 日正式发布并开源 ERNIE-5.5-Flash-Base，一个高效稀疏 MoE 基座模型：总参数 280B，每 token 仅激活 14B，从零预训练 33.5T tokens，微调与推理阶段支持最高 1M token 上下文。模型权重已上线 Hugging Face，官网 ernie.baidu.com 提供发布说明，并配套官方技术博客。官方称该模型在同规模模型中达到 SOTA 水平。
已确认
- 总参数 280B，每 token 激活 14B 的 MoE 架构；骨干共 43 层，包含 1 层 Dense FFN 与 42 层 Multi-Router Latent MoE 层（据 @teortaxesTex 转述的架构细节）
- 从零预训练 33.5T tokens；官方博客说明发布的是预训练结束、未做中期或后训练处理的基座版本
- 微调与推理均支持最高 1M token 上下文
- 权重已在 Hugging Face 开放下载，附官方技术博客，博客详解了注意力与 MoE 设计
- 官方基准称其在同尺寸模型中达到 SOTA，对比对象包括 DeepSeek-V4-Flash-Base、Hy3-pre 等
- 百度表示完整版 ERNIE 5.5 Flash 后续也将发布
为什么重要
- 280B 总参但仅激活 14B 的设计，兼顾大容量与低推理成本，是稀疏 MoE 路线的又一重磅开源实践
- 百万级上下文支持与开放权重，为社区微调和长文本应用提供了新选择
- @XianbaoQIAN 指出这是一次少见的大厂发布真正「base」模型、回归基座模型的动作，@teortaxesTex 等外部观察者对 Multi-Router Latent MoE 等架构细节的关注，显示该设计在技术社区引发了讨论
2026-11-05 ~ 2026-11-05 · 9 条相关
一手来源
- 百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B，支持百万上下文 — Baidu_Inc ·
- 百度在 Hugging Face 开源 ERNIE-5.5-Flash-Base — External_Mood4719 ·
- ERNIE 5.5 Flash Base 博客上线：详解注意力与 MoE 设计，权重开放下载 — Baidu_Inc ·
- 百度开源 ERNIE 5.5 Flash:280B 总参仅激活 14B,支持 1M 上下文 — teortaxesTex · 2026-11-05
- 【源头】百度在 Hugging Face 开源 ERNIE-5.5-Flash-Base — External_Mood4719 · 2026-11-05
- 百度开源 ERNIE 5.5 Flash Base：280B 参数、激活仅 14B — BaiduResearch · 2026-11-05
- 百度回归基座模型:ERNIE 5.5 Flash Base 上架 Hugging Face — Xianbao_QIAN · 2026-11-05
- 【源头】百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B，支持百万上下文 — Baidu_Inc · 2026-11-05
- 【源头】ERNIE 5.5 Flash Base 博客上线：详解注意力与 MoE 设计，权重开放下载 — Baidu_Inc · 2026-11-05
- ERNIE-5.5-Flash 系列上架 Hugging Face，官方跑分全面公开 — AdinaYakup · 2026-11-05
另有 2 条近重复转述:BaiduResearch · AdinaYakup