百度开源文心5.5 FlashBase:280B总参14B激活，专攻Agent场景长上下文

机器之心 · wechat · 2026-11-05

百度发布并开放权重的文心 5.5 FlashBase，是面向 Agent 高频长任务场景的稀疏 MoE 基座模型：总参数 280B、每 token 激活 14B，在 33.5T tokens 上从零预训练，训练上下文 128K、微调与推理外扩至 1M。

主要技术创新：

混合稀疏注意力：43 层中仅 6 层用 MLA 保留逐 token 全上下文访问（配 top-k 稀疏注意力 DSA），其余 37 层用压缩注意力 HCA（每 128 token 压成一条缓存条目），大幅压低 KV cache 开销。
多路由器 MoE：多个 sigmoid 路由器综合打分替代单一 top-k 选择，512 路由专家选 10 加 1 共享专家，无额外推理成本。
ECHO 训练目标：不挂外挂 MTP 模块，让主干最后一层直接承担多 token 预测，兼作投机解码内置 draft 模型，并表现出涌现外推能力。
另有 mHC 残差、MultiMax 输出头、200K BPE 词表及 FlashMask-4 算子（SM100 前向最高提速 175%）等基建改进。

官方对比中，其代码能力领先 DeepSeek-V4-Flash-Base 明显（HumanEval+ 82.3 对 69.5）。开发者可在 Base 权重上自行做领域适配、微调与 RL。

「Infra」频道最新