百度开源 ERNIE 5.5 Flash Base:280B MoE 仅激活 14B,支持 1M 上下文
Baidu_Inc · x · 2026-11-05
百度发布并开源 ERNIE 5.5 Flash Base,这是前百度加入者 tianxiangsun(孙天祥)入职后的首个发布。
关键信息:
- 架构:稀疏 MoE,总参数 280B,每 token 仅激活 14B
- 训练:从零预训练 33.5T tokens,训练上下文最长 128K,微调与推理支持 1M token 上下文
- 定位:发布的是预训练结束时的 base 权重(未经中期/后训练),可作为领域适配、指令微调和强化学习研究的统一起点
- 效率设计:从注意力、残差连接到 MoE 层和输出头,综合考虑激活算力、KV cache 与长上下文成本;语料侧重难以后天补足的能力,如仓库级代码与长上下文理解
官方表示 post-training 已在进行中,后续还有更多技术进展。
所属事件:百度开源 ERNIE 5.5 Flash Base：280B 稀疏 MoE 仅激活 14B(17 条相关)→
「公司和人」频道最新
- 曝苹果研发家用机器人 J595，9 英寸屏装机械臂或为人形前奏 — CyberRobooo · 2026-11-06
- Chai 与罗氏达成合作，用 AI 模型加速药物发现 — BenBajarin · 2026-11-06
- 芝加哥大学30年来首次大改写作课程，为 AI 时代设立写作中心 — soumitrashukla9 · 2026-11-06
- Sentry 聘 Thomas Jiang 主管 AI 编码助手 junior,CEO 转发官宣 — zeeg · 2026-11-06
- Nathan Lambert:RLHF新书成求职敲门砖,读者凭它进实验室 — natolambert · 2026-11-06
- Thesis 大会 28 本书单:从海德格尔到《白鲸》 — every · 2026-11-06