8-bit combine 配 w2 重叠与 NVFP4 dispatch,消除 MoE 通信瓶颈
snowclipsed · x · 2026-11-14
- 讨论低精度训练中的量化通信方案：dispatch 用 NVFP4 量化 token,反向传播用前向量化的激活(而非高精度)算 WGRAD,大幅减少 NVLink 传输，缓解 MoE GEMM 等待 dispatch 的瓶颈。
- combine 阶段输出激活需保留较高精度(默认 BF16)以免损害模型性能；曾试验 MXFP8 量化 combine,但 outlier 表示能力差、损害性能。
- 改用 32 维随机 Hadamard 变换(RHT)后量化为块缩放的 S2F6(8-bit),训练中无可测的精度损失；结合 w2 重叠与 fp8 可进一步降低传输字节。
所属事件:MoE 低精度训练通信优化：8 位量化与内核融合引热议(4 条相关)→
「Infra」频道最新
- Brave Leo 用 TEE 实现可验证加密推理，直指 ZDR 只是空头承诺 — gnukeith · 2026-11-14
- Cloudflare workerd 集群落地 KV、Queues 与 Workflows，首发版本临近 — irvinebroque · 2026-11-14
- GS Caltex 用 SageMaker Canvas+Pipelines 把模型部署从一周缩到几小时 — AWS ML Blog · 2026-11-14
- humans& 开源硬件原生 NVFP4 全 4-bit RL 训练配方 — gharik · 2026-11-14
- Grok 确认:2024 年 CrowdStrike 事件曾致美国航空公司大规模停飞 — TinfoilTricorn · 2026-11-14
- 美国国家气象局遭遇全国性网络与通信故障,官网产品无法访问 — MicahBerkley · 2026-11-14