Gemma 4 量化研究：仅靠重分配精度恢复 96% 推理能力
devildip · reddit · 2026-08-15
研究展示了通过 Tensor Level Quantization Allocation（张量级量化分配）在极低预算下的惊人效果。
核心成果：
- 在 3.3GB 的 IQ2XXS 极限压缩下，推理分数从 28.9 提升至 69.5，提升了 140.54%。
- 最终模型仅占 BF16 原模型大小的 24%，但保留了 96.74% 的推理性能。
- 11 个评测类别中有 10 个超越了 imatrix 基准，仅稳定性略有下降。
方法原理：
- 不涉及后训练、LoRA 或剪枝。
- 基于特定类别的语料库构建 imatrix，测量损伤后，在固定字节预算下于张量级别重新分配精度。
各项保留率：
- 知识 QA: 97.50%
- 上下文: 95.83%
- 指令跟随: 81.25%
- 编码: 58.49%
所属事件:Gemma 4 张量级量化分配实现极低预算高性能(2 条相关)→
「模型」频道最新
- will.deeb：质问小实验室为何不和最新模型比，通常是个蠢问题 — willcb · 2026-10-16
- Grok 订阅算账：$200 Ultra 还是 $300 SuperGrok Heavy？ — alexcovo_eth · 2026-10-16
- 用户实测称 Opus 5.5 研究构思能力远超 Astra — menhguin · 2026-10-16
- 网友猜测 Meta 新版跃升靠蒸馏 OpenAI,故不开源 — teortaxesTex · 2026-10-16
- Meta 选择 MLX 做本地推理,Muse Spark Open 登陆 Mac Studio — awnihannun · 2026-10-16
- 传智谱 GLM 5.5 即将发布，编码能力有望追平前沿模型 — bindureddy · 2026-10-16