训练这样量化:随机量化到 MXFP8 配 SR,兼顾精度与速度

snowclipsed · x · 2026-11-14

讨论围绕一种训练量化方案：将权重和激活随机量化到 MXFP8，再用 MXFP8 矩阵乘法计算梯度，被认为是在精度与速度之间的最佳折中，类似 mxfp8 版的 SR（stochastic rounding）方法。配图给出完整数据流图：BF16 激活按 per-token 量化到 NVFP4（4/6）做前向 GEMM，权重保持 FP32、按 per-expert 量化到 NVFP4；梯度路径上则量化到 MXFP8 with SR，分别走 DGRAD/WGRAD 的 MXFP8 GEMM，反量化/转置环节穿插其中，并标注了 FP32/BF16/MXFP8/NVFP4 四种精度边界。发帖人好奇各精度融合边界的具体划分。