Qwen3.8 27B 量化实测:4-bit 与原模型打平,1-bit 接近随机猜
victormustar · x · 2026-09-09
Quesma 博客对 Qwen3.8 27B 各档 GGUF 量化做了系统评测,回答「本地跑需要多少显存才不掉质量」:
- BF16 全模型约 55 GB,超出多数消费级硬件
- 17 GB 的 Q4KM 在 Terminal-Bench 2.1 智能体编程基准上与全模型持平,可装进 24 GB 卡(如 RTX 4090)且留有约 64k 上下文空间
- 2-bit(10.7 GB)明显走弱;1-bit(6.2 GB)在 GPQA Diamond 上接近随机水平,且长推理会进一步恶化
- 结论:4-bit 是质保临界点,压缩到 1-bit 就彻底崩了
「模型」频道最新
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
- 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察：Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26