Reddit 热议:NVFP4 量化实测追平 bf16 与 FP8,质疑者拿不出数据
General-Spite1222 · reddit · 2026-10-09
Reddit 用户发帖力挺 NVIDIA 的 NVFP4 量化格式,称其质量已与 Q8 相当,并给出评测链接佐证:
- NVIDIA 官方评测显示 Qwen3.8-27B-NVFP4 与 bf16 表现相当,Qwen3.8-Flash-Next-NVFP4 与 FP8 相当
- 作者指出社区对 NVFP4 有很多批评,但没人拿出反向数据
帖子引发量化质量之争:NVFP4 若真接近 bf16,意味着推理显存与成本可大幅压缩,这对本地部署和推理服务栈都是重要信号。
「Infra」频道最新
- TRL v1.15 融合 LM head，峰值显存省 82%、序列长 7 倍 — QGallouedec · 2026-10-09
- 在核显上跑 22B 视频模型 LTX-2.5：权重留 NVMe 逐层流式加载 — Business_Swordfish_5 · 2026-10-09
- 亚太数据中心缺口 2800 亿美元，柔佛成最大新建市场 — shashib · 2026-10-09
- Stepped MoE 论文:单个模型可缩放为 1-4B,端侧精度反超同级稠密模型 — pmttyji · 2026-10-09
- DLoop 循环式投机解码:目标模型前向减少,实测加速提升 5-41% — pmttyji · 2026-10-09
- OpenTelemetry 提出原生可观测设计:产品天然可对接任意观测栈 — dhruv_ahuja · 2026-10-09