Qwen3.6 NVFP4量化提速
danielhanchen · reddit · 2026-07-10
Unsloth 发布了针对 Qwen3.6 的 NVFP4 量化方案，声称在不损失精度的前提下，把 27B 模型的推理速度提升到 NVIDIA NVFP4 的 2.5x，把 35B-A3B 提升到 1.56x–1.79x。
帖子同时给出了几组基准对比，包括 MMLU-Pro、GPQA、AIME 2025 和 BF16 / FP8 / NVIDIA NVFP4 的结果；作者还提到加入了 FP8 KV Cache calibration，可让上下文长度自动变成 2x。文中区分了两版 35B：一版更偏速度（NVFP4-Fast），一版在速度和精度之间稍作折中。
相关量化模型已放到 Hugging Face，并在博客里补充了更完整的分析和 benchmark。
所属事件:Unsloth推Qwen3.6 NVFP4量化提速(3 条相关)→
「Infra」频道最新
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26
- Ubicloud 发文修复 vLLM 工具调用准确率问题 — petrusenko_max · 2026-10-26
- Meta 批准无投票权 C 类股，2026 年资本开支指引达 1350–1450 亿美元 — thione · 2026-10-26