5080 上两周量化对比实测：Q4 以上多数量化档位统计上无差异
KitchenAmoeba4438 · reddit · 2026-08-23
作者在 RTX 5080（16GB）上连续跑了两周量化对比测试，结论与社区共识相反：量化并不是一个连续的"质量旋钮"，大部分档位根本没接上线。
核心发现：
- Q4 以下才开始出现损伤；高于 Q4 的多数量化档位在这些测试下统计上无法区分
- QAT 不匹配会翻车：QAT 训练的量化档与实际推理档不一致时表现很差，要么匹配训练档、要么换模型
- MoE 模型受量化影响小于稠密模型
- 各常用量化档之间的差距小于社区共识预期；作者原本想验证共识，数据却推翻了它
测试刻意用 2-4 轮短对话，回答的是"量化后模型是否完好"而非长程表现。下一轮将测 DevOps、编码和长会话，作者预期会出现"用小量化换 VRAM/速度 vs 换有上限的精度"的权衡而非简单排名。原始数据、基准代码与数据集全部开源在文章 git 仓库中。
所属事件:实测称 Q4 以下量化对本地 Agent 模型影响显著(3 条相关)→
「Infra」频道最新
- NVIDIA 开发者生态达 1100 万，四 年多增长近 3.7 倍 — Beth_Kindig · 2026-10-16
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- Meta 发布开源模型 Muse Spark Open,联手 Apple 可跑在 M5 Ultra Mac Studio — The Verge AI · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16