Prime 扩展 DeepSeek Mega MoE 内核，MoE 训练端到端提速最高 34%
cfregly · x · 2026-11-02
Prime Intellect 发布 Prime Mega MoE：基于 DeepSeek 开源 DeepGEMM 系列中的 Mega MoE 融合内核进行扩展，加入快速重叠的反向传播，使其可用于训练。MoE 内核相比默认 PyTorch 实现最高快 3.11×，端到端训练相比 Prime-RL 基线最高快 1.34×（吞吐提升 34%）。
技术要点
- MoE 训练中每个 token 需跨 GPU 路由到其 expert 所在卡，每层前向和反向各一次通信；常规实现中排序、传输、expert 计算、回传是串行的，GPU 大量时间浪费在等待上。
- Mega MoE 用单次内核调用同时处理计算与通信，token 路由、expert MLP 计算和结果合并一步完成，无需 GPU↔CPU 往返，实现计算与通信重叠。
- 实测 Qwen3-30B-A3B 在 32 块 H200 上训练步时长从 2.78s 降至 2.08s（约缩短 25%）；基线为 torch all-to-all + DeepGEMM FP8，两条路径均用 fullgraph 编译。
cfregly 提醒：该内核为闭源，通信与 expert 计算共享 GPU 容量、给通信多留空间就会挤占计算，建议从 Prime 默认设置起步、以完整训练步时长作对比验证。
「Infra」频道最新
- FT 图表：四大科技巨头 CapEx 狂飙是理性押注而非无脑烧钱 — luisdans · 2026-11-02
- Liquid AI d1 决策模型实测:2B 小模型分类准确率碾压同级通用模型 — JosephJacks_ · 2026-11-02
- 智能降价99%用量暴增500倍,杰文斯悖论正在应验 — luisdans · 2026-11-02
- OpenAI 或将数据中心改名为「AI 算力园区」 — TechCrunch AI · 2026-11-02
- 路易斯安那 3000 亿美元项目挤压钢铁,工字钢交期长达 9 个月 — MatthewChang · 2026-11-02
- Reddit 实测：Speedy 推理引擎碾压 Avalon，读速快 1.6 倍 — MotorNetwork380 · 2026-11-02