Qwen3.8-27B NVFP4 量化横评:lm_head 精度决定 MTP 加速成色
danielhanchen · x · 2026-09-14
- Unsloth 的 Daniel Han 转发对比了多个 Qwen3.8-27B NVFP4 量化版本：各家精度相近，真正差异在显存占用与速度。
- 显存受限可选 minima-ai/mnmaqwen3.827bnvfp4，但不带 MTP 加速推理；NVIDIA 版本含 MTP，但长上下文编码测试中 MTP-4 仅约 2 倍于无 MTP，仍比 Unsloth 慢 2.5–3 倍（RTX Pro 6000）。
- 作者推测关键原因：NVIDIA 把 lmhead 也量化到 NVFP4，而 Unsloth 保留 FP8；由于 MTP 与主模型共享 lmhead，这会拖累预测质量与接受率。
- 结论：首选 Unsloth NVFP4，正在测试长程 agentic 编码精度。
「Infra」频道最新
- 8GB 显卡本地跑 Flux+Wan 2.2：三个设置错误拖慢了所有渲染 — roro9- · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30