PrismML 三值压缩 Qwen3.8 27B 至 5.9GB,能力保留 98.2%
dl_weekly · x · 2026-09-28
PrismML 发布 Bonsai 2 27B:用三值(ternary,+1/0/-1)权重量化把 Qwen3.8 27B 从约 56GB(16-bit)压到 5.9GB,保留约 98.2% 能力,Apache-2.0 开源,可在消费级 GeForce 5090 上以约 143 tokens/秒运行。
评测对比原模型:
- 智能与工具调用:77.6 vs 79.8,相差约 3 分以内
- 编码(HumanEval+、LiveCodeBench v6、MBPP+、BigCodeBench):81.6 vs 82.2
- 知识与推理(MMLU-Redux、GPQA Diamond、AA-LCR):82.7 vs 81.3,反超原模型
相比常规量化,ternary 在大幅缩小体积的同时保持了接近原始智能水平,使大模型能跑进 PC 甚至部分高端移动设备。
「Infra」频道最新
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16