百度开源文心5.5 Flash Base：280B稀疏MoE每token仅激活14B
智东西 · wechat · 2026-11-05
百度发布并开源文心5.5 Flash Base（ERNIE-5.5-Flash-Base），采用稀疏MoE架构，总参数280B、每token仅激活14B，在33.5T tokens上从零预训练，训练上下文128K，推理支持1M tokens，宣称取得同尺寸SOTA，与DeepSeek-V4-Flash-Base、MiMo-V2.5-Base等基座模型对比在推理、代码、长上下文上领先。
技术上做了三项核心改造：一是混合稀疏注意力——43层中37层用HCA重度压缩注意力（每128 token压成一条缓存），6层保留MLA并配动态稀疏注意力DSA做精准检索，大幅降低KV Cache开销；二是Multi-Router Latent MoE——多个独立路由器共同打分提升专家选择稳健性，专家在2048维隐空间计算使FLOPs与通信量约减半；三是ECHO未来token预测——复用主干最后一层替代外挂MTP模块，多步预测损失直接作用于主干参数，该层还可充当投机解码的内置draft模型。权重已在HuggingFace开放，并联合vLLM、SGLang提供生态支持。
所属事件:百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B、支持 1M 上下文(22 条相关)→
「Infra」频道最新
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12
- a16z 播客：Mike Volpi 从 Cisco 70+ 并购经验谈 AI 基建周期 — a16z · 2026-11-12
- AMD 服务器份额年增 6 点,预计 2027 年中营收超 Intel — BenBajarin · 2026-11-12
- 新研究：超大规模数据中心屋顶反光，白天反而降温 1.8-2.2°C — SumitGup · 2026-11-12