Bonsai 把 Qwen 27B 从 55.6GB 压到 5.9GB，保留 98.2% 跑分
nicolechirps · x · 2026-10-30
PrismML 团队的 Bonsai 压缩技术将 Qwen3.8-27B 从 55.6GB 压缩至 5.9GB(缩减约 89.4%),在 20 个基准测试上保留 98.2% 的综合性能,超过上一版 27B 约 95% 的保留率。核心技术是三值量化:权重只用 -1、0、+1 三个值加缩放因子表示,大幅降低存储位数。
被引用的原推还给出实机数据:Qwen3.8-35B-A3B 用 Q4KM 量化在 12GB 显存的 RTX 3060 + 16GB 内存上跑 llama.cpp,生成约 50 tokens/s、prompt 处理约 550 tokens/s,配置 262K 上下文,启用 Flash Attention 和 Q8 KV cache。能跑起来得益于 MoE 架构——35B 参数中每步只激活约 3B。
「Infra」频道最新
- 量子行业去年风投 49 亿美元仅营收 19 亿，四市场全景指南发布 — antavedissian · 2026-10-30
- 单卡 5090 跑 DeepSeek V4.1：prefill 超 4000 tok/s，解码 7-24 tok/s 可调 — Front_Eagle739 · 2026-10-30
- Cohere 加码加拿大：投资超 40 亿加元，2031 年前新增 1500 岗位 — cohere · 2026-10-30
- River API 支持任意自定义 Loss 训练 LLM:本地写 PyTorch,远端 GPU 零开销执行 — ibab · 2026-10-30
- 无缓存 agent 成本暴涨 260%，缓存折扣两年内从 0 到 95% — arena · 2026-10-30
- LiteLLM 网关漏洞可从 Postgres 窃取上游密钥，网关密钥存放方式遭质疑 — Early-Sir-932 · 2026-10-30