Qwen 3.6 27B 量化测试看 2bit 压缩能走多远
pmigdal · reddit · 2026-07-27
这篇文章围绕 Qwen 3.6 27B 的量化效果，讨论“pelican”这组对比里模型质量会不会被压坏。
- 文中把 BF16 全精度 与 UD-IQ2XXS 的 2-bit 量化做对照。
- 核心问题不是“能不能跑”，而是压到这么低以后，质量会不会明显掉档。
- 配图里给出的体积差异很直观：从 54.7 GB 降到 9.6 GB，强调的是显存/存储节省与输出质量之间的权衡。
- 这是一篇典型的模型量化实测讨论，重点在压缩后性能是否仍可接受。
「模型」频道最新
- OpenAI 现将 Codex 分为 Sol、Terra、Luna 三档，Luna 仅为 Sol 五分之一价 — TinfoilTricorn · 2026-07-28
- 阿里启动 Qwen3.8 成长计划，收集开发者真实反馈 — Alibaba_Qwen · 2026-07-28
- Kimi K3 许可证保留 MIT 框架又加收入与用户限制 — TheZachMueller · 2026-07-28
- OpenRouter 数据不足全球推理 1%，难证明中文模型已领跑使用量 — zephyr_z9 · 2026-07-28
- GLM-5.2 已能在戴尔工作站本地跑到 40 tokens/s — pcuenq · 2026-07-28
- DesignArena 里出现两个新 GPT 代号：Zinc 和 Magnesium — TheZachMueller · 2026-07-28