百度开源 ERNIE-5.5-Flash-Base：280B MoE 仅激活 14B，上下文达 1M
kimmonismus · x · 2026-11-06
百度发布 ERNIE-5.5-Flash-Base 并开放权重：280B MoE 架构、每 token 仅激活 14B 参数，从零在 33.5T token 上预训练，是无 mid-/post-training 的纯 base 模型，方便实验室针对领域任务、推理和 agent 自行适配。
效率设计是亮点：
- 43 层中仅 6 层保留 token 级完整上下文访问，其余 37 层把每 128 个 token 压缩为单条缓存项，显著缩小 KV cache；微调与推理上下文仍可达 1M token。
- Multi-Router MoE：多个 router 共同选择专家，不增加激活专家的计算与通信成本。
- ECHO：多 token 预测复用模型自身最后一层，无需独立 MTP 模块。
配套基准图显示，在与 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 的同管线对比中，ERNIE-5.5-Flash-Base 在 MMLU（93.3）、HumanEval+（82.3）、BBH CoT（89.2）、RepoQA（91.7）等多项考试、代码与长上下文基准上领先。
所属事件:百度开源 ERNIE 5.5 Flash Base，280B MoE 仅激活 14B(22 条相关)→
「Infra」频道最新
- 数百抗议者闯入 Microsoft 阿姆斯特丹数据中心工地 — Polymarket · 2026-11-06
- 密歇根大学研究：生成式 AI 处理非英文文本能耗最高达英文 180 倍 — radamihalcea · 2026-11-06
- 数据中心邻避难题的解法：学卡夫给邻居送冰淇淋 — BecauseCulture · 2026-11-06
- 二手 AMD MI100 实测：3D 打印风罩 2400 转压住 300W — Much-Farmer-2752 · 2026-11-06
- 11.3 小时 Nixon 录音 3 分钟转写完:Nemotron 3.5 Transcribe 实测仅花 $0.30 — vanstriendaniel · 2026-11-06
- Intel 三个月暴跌 46%,分析师列看多论据:18A 成本降 40%、数据中心超预期 — tengyanAI · 2026-11-06