Prime Flash MoE：Blackwell优化CUDA内核，MoE推理提速2.4倍
pbaylies · x · 2026-08-14
Prime Intellect 发布 Prime Flash MoE，一套针对 Blackwell 优化的 CUDA 内核，用于 MoE 推理。通过融合路由感知 GEMM、SwiGLU、量化和归约，避免中间张量在 HBM 中物化，节省内存流量。相比 PyTorch grouped GEMM 最高提速 2.4 倍，在 4k-128k token 范围平均提速约 2.3 倍。支持 BF16 和 MXFP8 数据路径，并提供融合和分离两种流水线。代码已开源。
所属事件:Prime Intellect发布Prime Flash MoE，优化Blackwell推理(3 条相关)→
「Infra」频道最新
- 用 Void 加 fate 一天搭出完整 vibe coding 平台并部署到 Cloudflare — cnakazawa · 2026-10-16
- 开源 VibeZero:用 agent 一把生成整套可部署的 vibe coding 平台 — cnakazawa · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16
- 软银筹备 SB Energy 与机器人子公司 Roze 美国上市,估值或超 500 亿美元 — nordicinst · 2026-10-16
- TRL 复现 Modal 混合精度 RL 训练：GRPO 150 步崩塌，SC+MIS 稳到 0.72 — QGallouedec · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16