百度开源 ERNIE 5.5 Flash Base：280B 参数仅激活 5%，支持百万上下文
xiaohu · x · 2026-11-05
百度发布全新开源底座模型文心 ERNIE 5.5 Flash Base，供开发者在之上继续训练、打造行业专属模型。
- 规格：从零预训练，2800 亿参数，运行时仅激活约 140 亿（5%），支持 100 万 token 上下文。
- 长上下文处理：把上下文 KV 缓存的 43 层分成两组——37 层读取压缩内容保留全局信息，另 6 层可回溯原文精读相关位置，兼顾缓存节省与细节检索。
- MoE 路由改进：每次仍从 512 个专家中选 10 个，但由多个「派单员」共同打分，专家计算量不变而选择更有效。
- 训练与推理复用：训练时练习预测更远的内容，直接复用最后一层而非外挂模块；生成时该层先拟候选再交给模型验证。
- 定位是为定制化提供起点：注入行业知识、适配本地语言后再做后续训练。
所属事件:百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B、支持 1M 上下文(22 条相关)→
「模型」频道最新
- Unsloth 发布 Dynamic V3.1 量化，宣称精度提升 10-15%、token 用量减半 — fiocalisti · 2026-11-12
- KRAFTON 开源 3.1B 混合注意力模型 Raon-1 nano,支持 26 万 token 上下文 — pmttyji · 2026-11-12
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12