反直觉:NVFP4 解码内核加位又提速,生成速度最高快 10%
gharik · x · 2026-10-24
humansand 团队宣布,他们对一个高度优化的 NVFP4 decode 内核做了加速,同时精度反而更高——通常更低位宽意味着更快但更不准,他们反其道而行:用了更多位(more bits),生成速度却提升最高 10%。该内核已被 Ampersand 的 RL 训练和 Boba 推理服务采用。贴文获得 jhong「Shippers ship!」的转发点赞。
所属事件:反直觉优化:NVFP4 解码内核加比特反提速 10%(3 条相关)→
「Infra」频道最新
- 视频生成模型 int8 量化实测:12GB 显存即可流畅运行 — cocktailpeanut · 2026-10-24
- Modal 联手 Sakana 将 Namazu API 优化到内核级,NVFP4 量化+KV 路由 — blelbach · 2026-10-24
- 半导体圈热议:高数值孔径 EUV 对台积电 18A/16A 节点是否划算 — pstAsiatech · 2026-10-24
- Intel 显卡 B60/B65/B70 一日暴涨 30%,B70 冲至 1840 美元 — SamSausages · 2026-10-24
- RTX 30 系 GPU Unlock 实测:3090 Ti 跑 ComfyUI 出图吞吐最高提升 59% — under-_-null · 2026-10-24
- RTX 3070 本地跑 Qwen3.8 量化版:1000 tps 预填充完整配置公开 — SetNo7692 · 2026-10-24