百度开源 ERNIE 5.5 Flash:280B 总参仅激活 14B,支持 1M 上下文
teortaxesTex · x · 2026-11-05
百度发布并开源 ERNIE 5.5 Flash,架构细节引人注目:
- 总体规格:280B 总参数、激活 14B 的 MoE 模型,43 层骨干(1 层 Dense FFN + 42 层 Multi-Router Latent MoE),每层 512 个路由专家(top-10)加 1 个共享专家;用 Muon 优化器从零预训练 33.5T tokens,训练上下文 128K,微调与推理支持 1M 上下文;权重以 FP8/BF16 safensors 上架 Hugging Face 和 ModelScope。
- 混合注意力:37 层重度压缩注意力(HCA,每 128 token 缓存一个条目)+ 6 层带稀疏注意力(DSA)的 MLA;HCA 层用 512 维宽头,MLA 层用 256 维窄头,按层分配注意力预算。同等 KV-cache 预算下 HCA+MLA 组合优于 HCA+CSA。
- 其他创新:低秩门控注意力把门控投影参数砍掉 75%;虚拟头注意力(VHA)以恒等跳连做轻量头间后混合;Multi-Router Latent MoE 用多个独立初始化的 sigmoid 路由器替代单路由器,提升专家选择准确性且不增加激活专家数与通信量。
网友戏称其为「又一个 DeepSeek V4 Flash」,暗示架构思路上与 DeepSeek 的高度相似性。
「模型」频道最新
- ThursdAI 本期聚焦 Gemini 4 Carbon 登顶 AA 榜单与 Anthropic S-1 解读 — altryne · 2026-11-05
- 网友戏称「Copyright-Claude」:优化约束召唤出的恶魔 — layer07_yuxi · 2026-11-05
- Latent Space 周报:OpenAI 自主修补 948 个 Linux 内核漏洞 — Latent Space · 2026-11-05
- 多个主流模型 10 月初同步变笨？用户报告 Codex、Gemini、DeepSeek 质量集体下滑 — Alex-2503 · 2026-11-05
- 4B 小模型生成可导出 GLB 的 3D 资产，CCORE GLB-3D-Coder 最终版开源 — ConfidentDinner6648 · 2026-11-05
- 开发者让 Opus 包办 Mnemos MCP 发布视频,直呼看完被震撼 — RileyRalmuto · 2026-11-05