fused DPO loss 并入 NVIDIA TileGym：峰值内存省 7.2 倍、快 1.27 倍
blelbach · x · 2026-10-20
开发者向 NVIDIA 官方仓库 TileGym 提交的 PR #211 已合并：基于 cuTile 实现的 fused linear DPO loss（sigmoid）。
- 性能：16 对样本下峰值内存从 61.5 GB 降到 8.5 GB（最高省 7.2 倍），比未融合的 PyTorch 快 1.13–1.27 倍（T=1024、H=4096、V=128256、bf16，RTX PRO 6000 Blackwell 实测）。
- 原理：全程不物化完整 logits——梯度是标量 × (softmax − onehot)，可由 NVIDIA 已调优的 cross-entropy kernel 原地写出，整个算子只需一次 kernel launch 加 GEMM。1 对样本时内存略高于未融合路径，2 对起开始省，16 对起切换分块路径。
- 踩坑：初版比基线慢约 1.5 倍，profiling 发现一半时间耗在 CUDA core 上的 fp32 GEMM；修复后的 fusedlinearcrossentropy（PR #212）快 2.4 倍、省 3.2 GB。
「Infra」频道最新
- Q-CTRL:容错量子计算蓝图里超 99.5% 的量子比特处于闲置 — MJBiercuk · 2026-10-20
- 5090 与 Strix Halo 实测 Qwen3.8 量化：Gufo 引擎解决工具调用翻车 — awitod · 2026-10-20
- SGLang Summit 赞助商一周从 11 家涨到 36 家,Lip-Bu Tan 等将出席 — satnam6502 · 2026-10-20
- GitHub 宕机时，GitHub 怎么把代码推给 GitHub 来恢复自己？ — VeryWellVersed · 2026-10-20
- Meta 论文：软硬协同设计使 AMD MI350X 训练吞吐量提升至 1.5 倍 — burny_tech · 2026-10-20
- Rust 重写 opencode 服务器:内存从 2.4GB 降至 100MB,搜索快 3 万倍 — microbass · 2026-10-20