实测 2bit 量化模型:显存占用减半,速度翻倍且性能未损
WigglyScrotum · reddit · 2026-08-07
一位开发者在 AMD 显卡上实测了 EschaLabs/Qwen3.6-35B-A3B-Escha-W2(2bit 量化版),并与常规的 5bit(APEX Q5)版本进行了对比。
核心测试结论:
- 资源与速度:2bit 版本无需 CPU 卸载,显存占用降至 12.19 GiB(节省超 11GB 总内存),生成速度达 84.72 tokens/sec,是 5bit 版本的 1.85 倍。
- 性能表现:在 IFEval、GSM8K、HumanEval+ 等测试中,两者均达到 100% 通过率;在 GPQA-Diamond 测试中,2bit 版本因推理更简洁,反而比 5bit 版本表现更好。
作者指出,虽然样本量较小,但这证明超低量化在消费级硬件上具有极高的实用潜力。
「模型」频道最新
- Artificial Analysis 榜单:GLM 5.3 Flash 得 39 分,以更小体积超越 Mistral 4 Large — airesearch12 · 2026-10-16
- 基于 Qwen3-4B 的开源 ASR 模型 Hojo-ASR 取 3.54 平均 WER — rohanpaul_ai · 2026-10-16
- Google 在 Antigravity 中设 Paid Pro 付费墙,Pixel 与订阅用户不满 — Chance-Okra-5920 · 2026-10-16
- GLM 5.3 Flash 现已在 OpenCode 免费开放 — DanielLockyer · 2026-10-16
- GPT-6 Sol 开药水店零失误,推理摘要却把库存当成自身属性 — liminal_bardo · 2026-10-16
- Codex 用户转投 Claude:称 Opus 5.5 体验领先且 App 优化好 2-3 倍 — ItchyResearcher5671 · 2026-10-16