NVFP4 解码内核反直觉优化:位更多反而更快更准
Humansand 团队对一个高度优化的 NVFP4 decode 内核做了加速,生成速度最高提升 10%,同时精度反而更高。这一结果颇为反直觉:通常更低比特量化意味着更快但更不准,而他们通过使用更多比特,同时实现了速度与精度的双重提升。
2026-10-24 ~ 2026-10-24 · 2 条相关
- Humansand 优化 NVFP4 解码内核:更多比特反而快至多 10% 且更准 — noahdgoodman · 2026-10-24
- 反直觉:NVFP4 解码内核加位又提速,生成速度最高快 10% — gharik · 2026-10-24