文心 5.5 Flash Base 详解:280B-A14B,25 项基模测试第一
karminski3 · x · 2026-11-06
百度发布 ERNIE-5.5-Flash-Base,作者读模型卡和 config 后认为是完全面向「1M 超长上下文 + 后训练/Agent 反复采样极致效率」从头设计的模型:280B 总参数、14B 激活,33.5T token 从零预训练,刚结束预训练的 Base 权重即在 30 项统一管线 benchmark 中拿下 25 项基模第一(MMLU-Pro 78.4,比 V4-Flash 高 9.2;RepoQA 91.7)。
关键技术细节:
- 注意力:37 层 HCA(128 倍重度压缩)+ 6 层 MLA-DSA(逐 token 动态稀疏)的 6:1 混搭,配低秩门控省掉 75% 门控参数和 VHA 虚拟头混合。
- MoE:Multi-Router 多路由器协同打分 + 2048 维半宽潜空间 Latent MoE(512 专家选 10)。
- ECHO 自递归替代外挂 MTP:让主干最后一层自己兼职多 token 预测,额外参数仅约 0.36B,几乎不多占显存;训练用动态深度采样(按概率决定往后猜几层)。
- 配图还横向对比了四款 Flash 模型(ERNIE 5.5 / DeepSeek-V4-Flash / V4.1-Flash / Qwen3.8-Flash-Next)的上下文策略与参数构成。
所属事件:百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B、支持 1M 上下文(22 条相关)→
「Infra」频道最新
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12
- a16z 播客：Mike Volpi 从 Cisco 70+ 并购经验谈 AI 基建周期 — a16z · 2026-11-12
- AMD 服务器份额年增 6 点,预计 2027 年中营收超 Intel — BenBajarin · 2026-11-12
- 新研究：超大规模数据中心屋顶反光，白天反而降温 1.8-2.2°C — SumitGup · 2026-11-12