MoE 低精度训练通信优化：8 位量化与内核融合引热议

开发者社区热议 MoE 训练通信优化：借助随机哈希变换（RHT）正交变换与 Blackwell GPU 的块缩放 S2F6 PTX 指令，可将 combine 通信量从 16 位压缩到 8.25 位；另有方案在 dispatch 用 NVFP4 量化 token、反向传播复用前向激活算 WGRAD 以减少 NVLink 传输。BBBK 内核则把量化熔进 w2 GEMM 的 epilogue，同时打满 NVLink 与 Tensor Core。训练量化方面，将权重和激活随机量化到 MXFP8 被视为精度与速度的最佳折中。

2026-11-14 ~ 2026-11-14 · 4 条相关

• 训练这样量化:随机量化到 MXFP8 配 SR,兼顾精度与速度 — snowclipsed · 2026-11-14
• 8-bit combine 配 w2 重叠与 NVFP4 dispatch,消除 MoE 通信瓶颈 — snowclipsed · 2026-11-14
• MoE combine 通信量从 16 位压到 8.25 位：RHT+S2F6 量化技巧引热议 — snowclipsed · 2026-11-14
• BBBK 内核把量化熔进 GEMM epilogue，同时打满 NVLink 与 Tensor Core — snowclipsed · 2026-11-14