百度开源 ERNIE 5.5 Flash Base：280B 总参 14B 激活
BaiduResearch · x · 2026-11-05
百度研究院宣布 ERNIE 5.5 Flash Base 开源：280B 总参数、每 token 激活 14B，称在同规模中达到 SOTA，完整版 ERNIE 5.5 Flash 也在路上。模型已上线 Hugging Face，附技术博客。
官方强调的效率设计：
- Latent-Gated Sparse Attention：把 KV-cache 预算集中在少数全 token 层做长程检索，而非摊薄到多个压缩层；
- Multi-Router Latent MoE：多个路由器对专家投票，修复路由分数与专家实际有用性的弱相关，且不增加算力；
- ECHO：把多 token 预测搬到骨干最后一层，兼作投机解码的免费草稿头；
- 配套分布式 Muon 优化器与 FlashMask-4 注意力内核保障大规模训练效率。
所属事件:百度开源 ERNIE-5.5-Flash-Base：280B MoE 激活仅 14B(9 条相关)→
「Infra」频道最新
- oMLX 新版让第二台 Mac 加速 prefill 最高 2.9 倍 — pcuenq · 2026-11-05
- FineWeb-30M 训练提速至 14.2 秒，单节点 8xH100 再破纪录 — RobertTLange · 2026-11-05
- 图数据库新玩法:状态存 S3、查询节点随起随弃,HydraDB 获 13k 星 — JeremyCMorgan · 2026-11-05
- OpenSSH 10.6p2 发布，修复一个严重漏洞 — Animux · 2026-11-05
- FT:微软否决与英国 Nscale 的数十亿美元 AI 交易 — nordicinst · 2026-11-05
- 微软发力端侧编码 AI:128GB 统一内存 RTX Spark PC 免 token 费跑编码模型 — lee_stott · 2026-11-05