反直觉内核优化:提高精度反使 NVFP4 解码快 10%
gharik · x · 2026-10-24
humansand 团队宣称在高度优化的 NVFP4 解码 kernel 上同时实现了加速和精度提升:通常更少的比特意味着更快但更不准,他们反其道而行——用更多比特(高精度计算),换来最高 10% 的生成提速。该成果已被用于 Ampersand 的 RL 训练和 Boba 推理服务。
所属事件:Humansand 反直觉优化:NVFP4 解码内核加位宽反提速 10%(6 条相关)→
「Infra」频道最新
- 传某顶级律所弃用 Harvey 与云 API,转用自有 GPU 跑 Kimi 和 DeepSeek — SumitGup · 2026-10-24
- Tesla Q3 储能部署量增 10% 营收反降 16%,单价暴跌成主因 — pdamodaran · 2026-10-24
- Mandiant:PHP 关键漏洞已有可 RCE 的 PoC,督促尽快打补丁 — cyb3rops · 2026-10-24
- W4A16 量化逆势提速 10%,解码 kernel 吃满 98% Tensor Core — niloofar_mire · 2026-10-24
- Blackstone 拟出售数据中心, neocloud 算力租金同比涨 50% — GaryMarcus · 2026-10-24
- 30-40 万美元预算怎么花:癌症中心算力主管公开征询 AlphaFold 集群方案 — starkruzr · 2026-10-24