Qwen3.6 NVFP4 提速 2.5 倍
danielhanchen · x · 2026-07-10
Unsloth 基于自己的动态方法，把 Qwen3.6 的 NVFP4 量化做到了更快的推理速度。
帖子里给出的结果包括：
- Qwen3.6-27B 的 NVFP4 版本相较原方案提速 2.5x
- 使用 W4A4 对比 W4A16
- 35B-A3B 还有两个版本：
- NVFP4：1.56x 更快
- NVFP4-Fast：1.79x 更快
其中 Fast 版本使用纯 W4A4，非 Fast 版本则混合使用不同精度，以在速度和准确性之间做折中。原帖还提到这些量化版本提升了 accuracy、tool calling、agent use 和 looping 表现。
所属事件:Unsloth推Qwen3.6 NVFP4量化提速(3 条相关)→
「Infra」频道最新
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27
- PyTorch 实测:ExecuTorch+Arm SME2 让端侧流式语音识别提速 2.12 倍 — PyTorch · 2026-10-27
- NVIDIA 演示投机解码加速 Jetson 端侧 LLM 推理 — NVIDIA Developer · 2026-10-27
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27