MoE combine 通信量从 16 位压到 8.25 位：RHT+S2F6 量化技巧引热议
snowclipsed · x · 2026-11-14
snowclipsed 在讨论一项 MoE 训练通信优化：借助随机哈希变换（RHT）正交变换与 Blackwell GPU 的块缩放 S2F6 PTX 指令，把 combine 阶段每值传输量从 16 bit 降到 8.25 bit，同时用 fp8 进一步减少传输字节。w2 grouped GEMM 的 epilogue 中完成 RHT 与量化（每 32 个值一个 scale factor），接收端边反量化边聚合再逆变换，压缩了 combine 尾延迟、加速 MoE 层。作者还称赞其中的反量化隐藏与流水线处理，以及 combine 与 w2 的重叠设计。
所属事件:MoE 低精度训练通信优化：8 位量化与内核融合引热议(4 条相关)→
「Infra」频道最新
- Reddit 网友预测:英伟达受挫窗口期,中国 AI 芯片将涌入市场 — Apart_Tumbleweed_303 · 2026-11-14
- FAA 下达地面停飞令,当事人称「就像昨天的微软一样」 — Kyrannio · 2026-11-14
- AWS 教程:用 NeMo Switchyard 按任务成本路由编码 Agent 请求 — AWS ML Blog · 2026-11-14
- GAO 评估：美国 138 套空管系统中 76% 难以为继，还在用软盘和 Win95 — MartinGTobias · 2026-11-14
- 第三方周报称黄仁勋辞去 Nvidia CEO，CFO Colette Kress 出任临时 CEO — pdamodaran · 2026-11-14
- NVIDIA 以代号「yolo bundle」将 nvfp4 用于大规模预训练 — SonglinYang4 · 2026-11-14