百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B,支持 1M 上下文
teortaxesTex · x · 2026-11-06
百度孙天祥宣布发布 ERNIE 5.5 Flash Base，这是他加入百度后的首个作品，已开源。
- 规格：280B 总参数的 MoE 模型，激活参数仅 14B，预训练数据 33.5T tokens。
- 能力：在推理、编码、长上下文等 benchmark 上表现强劲，上下文窗口最高支持 1M。
- 架构亮点：转发的评论特别关注其 LatentMoE 设计——用多个 sigmoid 路由器（Multi-Router）缓解“路由得分不能真实反映专家有用性”的问题，且不增加激活专家数或通信开销；Stable LatentMoE 之上的可学习 per-expert 标量也有助于在 43 层中保持专家贡献的尺度。评论者还预告将 soon 发布更快、更稳定的 Hyper-Connections 设计。
- 后续：post-training 进行中，更多技术进展在路上。
所属事件:百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B、支持 1M 上下文(22 条相关)→
「模型」频道最新
- Unsloth 发布 Dynamic V3.1 量化，宣称精度提升 10-15%、token 用量减半 — fiocalisti · 2026-11-12
- KRAFTON 开源 3.1B 混合注意力模型 Raon-1 nano,支持 26 万 token 上下文 — pmttyji · 2026-11-12
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12