Qwen3.8-27B NVFP4 量化横评:lm_head 精度决定 MTP 加速成色

danielhanchen · x · 2026-09-14

Unsloth 的 Daniel Han 转发对比了多个 Qwen3.8-27B NVFP4 量化版本：各家精度相近，真正差异在显存占用与速度。
显存受限可选 minima-ai/mnmaqwen3.827bnvfp4，但不带 MTP 加速推理；NVIDIA 版本含 MTP，但长上下文编码测试中 MTP-4 仅约 2 倍于无 MTP，仍比 Unsloth 慢 2.5–3 倍（RTX Pro 6000）。
作者推测关键原因：NVIDIA 把 lmhead 也量化到 NVFP4，而 Unsloth 保留 FP8；由于 MTP 与主模型共享 lmhead，这会拖累预测质量与接受率。
结论：首选 Unsloth NVFP4，正在测试长程 agentic 编码精度。

「Infra」频道最新