Qwen 2.5 27B 量化评测：Q4 足够，Q6 最稳
Fun-Meaning-6474 · reddit · 2026-08-24
团队在 RTX 6000 上对 Qwen 2.5 27B 进行了不同量化版本的对比测试（任务为体素岛场景创建）。结果显示模型在 3D 场景处理上表现优异。数据对比显示：
| 量化版本 | 大小 | Top-1 vs BF16 | Mean KLD | 速度 (RTX 6000) |
| :--- | :--- | :--- | :--- | :--- |
| AD-Q4KM | 17.1 GB | 95.6% | 0.0113 | 67 tok/s |
| AD-Q5KM | 20.2 GB | 97.3% | 0.0042 | 57 tok/s |
| AD-Q6K | 25.0 GB | 98.7% | 0.0011 | 49 tok/s |
| Q80 | 28.9 GB | 98.9% | 0.0006 | 50 tok/s |
结论认为各版本差异不大，有时甚至偏好 Q4 输出，但若求稳推荐 AD-Q6K。
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15