Prime Flash MoE 发布：专为 Blackwell 优化的 MoE 推理 CUDA 内核
sloppenheimer · x · 2026-08-14
PrimeIntellect 推出了 Prime Flash MoE，这是一套专为英伟达 Blackwell 架构优化的 MoE（混合专家模型）推理 CUDA 内核。
核心优化与性能：
- 通过避免中间张量的实体化，并在融合配置下避免激活值的实体化，大幅节省了显存带宽。
- 相比 PyTorch 的分组 GEMM，速度提升最高达 2.4 倍；在 4k-128k token 范围内实现约 2.3 倍的加速。
- 已集成至 prime-rl 框架中，用于加速 MoE 模型的前向传播。
双数据路径设计：
- 支持 BF16 和 MXFP8 两种数据格式，共享相同结构，区别在于如何向 Tensor Core 喂数据。
- 提供融合与拆分两种流水线。在小规模问题时，融合路径能减少激活值的往返；随着工作集增大，拆分路径通过实体化更小的激活值反而变得更具成本效益。
所属事件:Prime Intellect发布Prime Flash MoE，优化Blackwell推理(3 条相关)→
「Infra」频道最新
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16
- 传闻新模型 cherry pi 小到能跑在树莓派上? — sull · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16