反直觉内核优化:提高精度反使 NVFP4 解码快 10%

gharik · x · 2026-10-24

humansand 团队宣称在高度优化的 NVFP4 解码 kernel 上同时实现了加速和精度提升:通常更少的比特意味着更快但更不准,他们反其道而行——用更多比特(高精度计算),换来最高 10% 的生成提速。该成果已被用于 Ampersand 的 RL 训练和 Boba 推理服务。

所属事件:Humansand 反直觉优化:NVFP4 解码内核加位宽反提速 10%(6 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →