反直觉:NVFP4 解码内核加位又提速,生成速度最高快 10%

gharik · x · 2026-10-24

humansand 团队宣布,他们对一个高度优化的 NVFP4 decode 内核做了加速,同时精度反而更高——通常更低位宽意味着更快但更不准,他们反其道而行:用了更多位(more bits),生成速度却提升最高 10%。该内核已被 Ampersand 的 RL 训练和 Boba 推理服务采用。贴文获得 jhong「Shippers ship!」的转发点赞。

所属事件:反直觉优化:NVFP4 解码内核加比特反提速 10%(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →