2.3bpw 极限量化更新:27B 模型在 12GB 卡上追平 Qwen3.6 BF16
Brief-Tap-6616 · reddit · 2026-11-02
作者发布针对 30xx 12GB Ampere 显卡的 Qwen 27B 2.3bpw 极限量化更新版,LiveCode Bench 成绩追平 Qwen3.6 BF16(84.3% vs 83.9%,严格评分器,三次运行,xhigh 推理下),较上一版 75% 大幅提升,LCB 退化减少近 60%。
技术细节
- 依赖作者新加的 AmperInteger+ 量化格式(LlamAmpere 0.6):2-3bpw 分数量化 + trellis 编码,配合 RCO 式优化,仅用 <20M token 的少量后训练避免过拟合。
- KLD 从 0.096 降至 0.059,误差降低约 37-57%;冗长输出也明显减少(中位回答 4.5K vs 6K token)。
- 显存占用 7.4GiB(含 MTP 头),升级版 embedding 表建议存内存;配合 SJKVaRN 3/2 配置可在 12GB 卡跑 200K+ 上下文。
- 3090/80ti 上 agentic 工作负载超 90 tps;MIT 许可,需更新至最新 llamAmpere。
「Infra」频道最新
- TPU 成本优势显现：Gemini 3.1 Pro 单任务成本比 Claude 低 76% — Beth_Kindig · 2026-11-02
- 用量限制与护栏收紧，用户被推向本地模型 — SEND_ME_YOUR_ASSPICS · 2026-11-02
- 算力现货价将达合约 3-5 倍,低价新云商或成最大输家 — bindureddy · 2026-11-02
- 传马斯克将与台积电重新谈判 TeraFab,放弃完全自建立场 — SumitGup · 2026-11-02
- Crusoe CEO 回应 neocloud 债务担忧：算力需求如潮水般汹涌 — nathanbenaich · 2026-11-02
- 开源推理引擎 Kapitsa 跑分 M5 Max:35B 达 346 tok/s,180B 上 48GB Mac 跑 61 tok/s — DotaMate · 2026-11-02