PrismML 三值压缩 Qwen3.8 27B 至 5.9GB,能力保留 98.2%
dl_weekly · x · 2026-09-28
PrismML 发布 Bonsai 2 27B:用三值(ternary,+1/0/-1)权重量化把 Qwen3.8 27B 从约 56GB(16-bit)压到 5.9GB,保留约 98.2% 能力,Apache-2.0 开源,可在消费级 GeForce 5090 上以约 143 tokens/秒运行。
评测对比原模型:
- 智能与工具调用:77.6 vs 79.8,相差约 3 分以内
- 编码(HumanEval+、LiveCodeBench v6、MBPP+、BigCodeBench):81.6 vs 82.2
- 知识与推理(MMLU-Redux、GPQA Diamond、AA-LCR):82.7 vs 81.3,反超原模型
相比常规量化,ternary 在大幅缩小体积的同时保持了接近原始智能水平,使大模型能跑进 PC 甚至部分高端移动设备。
「Infra」频道最新
- Fireworks 推理平台后训练 Kimi K3,同质量省 40% 成本 — isidentical · 2026-09-28
- 一个驱动开关让 AMD 双卡 Vulkan 推理提速最高 4 倍 — tabletuser_blogspot · 2026-09-28
- 开发者拟让 Codex 决定跑哪些测试，大幅削减 CI 成本 — sull · 2026-09-28
- 免费在线 LLM 原理全指南:从 token 到本地部署全链路 — JFPuget · 2026-09-28
- 向量数据库够用吗?Reddit 热议 Agent 生产级存储难题 — OkShirt9372 · 2026-09-28
- GPU 多到没处用：有人用 PTX 当词表预训练了一个基础模型 — rickasaurus · 2026-09-28