Qwen3.8 27B 量化实测:4-bit 与原模型打平,1-bit 接近随机猜
victormustar · x · 2026-09-09
Quesma 博客对 Qwen3.8 27B 各档 GGUF 量化做了系统评测,回答「本地跑需要多少显存才不掉质量」:
- BF16 全模型约 55 GB,超出多数消费级硬件
- 17 GB 的 Q4KM 在 Terminal-Bench 2.1 智能体编程基准上与全模型持平,可装进 24 GB 卡(如 RTX 4090)且留有约 64k 上下文空间
- 2-bit(10.7 GB)明显走弱;1-bit(6.2 GB)在 GPQA Diamond 上接近随机水平,且长推理会进一步恶化
- 结论:4-bit 是质保临界点,压缩到 1-bit 就彻底崩了
「模型」频道最新
- 实测 Astra 玩约 30 款冷门解谜游戏,ARC-AGI-3 得分或被低估 — burny_tech · 2026-09-09
- OpenAI 宣称「解决 Navier-Stokes」，学者斥为无知或误导 — jonathanberte · 2026-09-09
- Muse Spark 1.3 登 CursorBench:67.9 分仅 $1.31,性价比碾压 — shuyanzh36 · 2026-09-09
- 曝 OpenAI 内部模型 bel 数学解题量达 astra 约 2.5 倍 — imjustnewatai · 2026-09-09
- GPT-6-Astra 上线 Loop：基于 Codex 构建的调试工具直接可用 — nikunjhanda · 2026-09-09
- 创始人实测 GPT Astra：思考更快，更擅长处理人际沟通细节 — morganlai · 2026-09-09