1.58bit 三进制 27B 模型跑进 12GB 显卡,CUDA 补丁再提速 32%
airesearch12 · x · 2026-09-19
PrismML 发布的 Ternary Bonsai 2 27B(基于 Qwen 3 27B 的 1.58-bit 三进制压缩版,PTQ10 量化,仅 1.75 bits/权重)在消费级显卡上引发热议。
- 原始演示:一位用户在 RTX 3060 12GB 上用 5.9GB 文件让该模型一次性生成完整前端页面,生成了 41k token、思考了 46 分钟、上下文跑到 77k 仍未丢失线索;新权重 26 tok/s,77k 深度下 13 tok/s,完整 262k 上下文常驻。
- CUDA 手术补丁:GitHub 项目 bonsai-ada-surgery 对 PrismML 的 llama.cpp fork 做内核级优化,让三进制 GEMV 解码跑满 DRAM 带宽。在 RTX 4070 12GB 上实测提速 +2832%(TG128 从 50.9 tok/s 提升),不重新量化、数学位级一致,通过 153/153 后端测试与逐字节一致的贪婪生成验证。
- 该补丁非 4070 专属,在 2060 Super 上也有约 11% 提速。
所属事件:Bonsai 2 27B三值量化发布,5.9GB保留98.2%性能(20 条相关)→
「Infra」频道最新
- 印度 Sarvam 推出 Token Factory:在本土托管全套开源模型推理 — HarveenChadha · 2026-11-16
- ZGX Fury 实测:Qwen3.8-Flash-Next 跑出 351 tok/s,本地 Agent/RAG 全流程演示 — Sam Witteveen · 2026-11-16
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16