Qwen 27B 被压到 3.9GB
max_paperclips · x · 2026-07-17
转发内容讨论了 PrismML 的 **Bonsai 27B**：基于 **Qwen3.6 27B** 做到极端量化后可在单张 3090 上加载，甚至主张能跑到手机端。 核心信息包括： - **无需重新训练**，只是对现有权重做二值/三值量化。 - 1-bit 版本宣称把 27B 模型压到 **3.9GB** 左右；另有三值版本约 **5.9GB**。 - 作者强调这种压缩会让通常“低于 4bit 就崩”的模型依然保持可用，并宣称保留了约 **89.5%** 的原始智能。 - 转推者的态度是先怀疑再实测：他打算用同一套 agent 任务和基准，对比原始 Q4 版本与 1-bit 版本，看看它究竟在哪些任务上失真。