Humansand 优化 NVFP4 解码内核:更多比特反而快至多 10% 且更准
noahdgoodman · x · 2026-10-24
Humansand 团队加速了高度优化的 NVFP4 decode 内核,并同时提升精度。通常更少比特意味着更快但更不准,他们反其道而行:用更多比特,同时将生成速度提升最高 10%。
该内核已被用于 Ampersand 的 RL 训练和 Boba 推理服务。
所属事件:NVFP4 解码内核反直觉优化：位更多反而更快更准(2 条相关)→
「Infra」频道最新
- Baseten 推 Project Beacon，把安全工具内置进开源模型推理层 — baseten · 2026-10-24
- CUDA 用 AI 优化一年提速 5 倍再翻倍，RSI 快慢证据互相打架 — soumitrashukla9 · 2026-10-24
- 开源 RL 框架 Miles v0.1.3:首次权重同步 99.5 秒降至 3.9 秒 — hsu_byron · 2026-10-24
- Ziang Li 展示训练实绩:Tensor Core 利用率超 98% — gharik · 2026-10-24
- 砸数百万做 AI 应用分文未赚,旧 GPU 服务器却升值回本 — stephen280up · 2026-10-24
- Polymarket 开盘：明年年底前 AI 数据中心上天，概率 24% — Polymarket · 2026-10-24