低比特量化实验：4bit 下 PTQ 够用，2bit 须靠 QAT
Mindless_Ad_407 · reddit · 2026-09-13
作者团队分享低比特量化实验结论，并发布 QUASAR QAT 论文与模型权重。
- 4 bit：好的 PTQ 已接近极限。以 Qwen3.5-4B 为例（同样量化 200/200 projections），KL 散度为 QUASAR QAT 0.0181、GPTQ 0.0227、标准 QAT 0.0228、RTN 0.0423。
- 3–2 bit：PTQ 变得脆弱，把量化误差放进训练循环的 QAT 开始显著拉开差距；2 bit 下 QUASAR QAT 在 8 个任务上平均领先最强 QAT/PTQ 基线 3–4 个点。
- 方法：训练中以 loss-aware 方式重建量化权重，而非简单四舍五入，推理无需特殊路径。
论文与 checkpoint 已在 arXiv 和 Hugging Face 公开，作者征集 2–3 bit 场景的他人经验。
「研究」频道最新
- MIT 团队登 Science:基因线路 3D 折叠可塑造成表达 — anshulkundaje · 2026-09-13
- 基因线路调控机制续篇:上游基因沉默方能激活下游 — anshulkundaje · 2026-09-13
- OpenAI 悬赏难题之一已被人类数学家率先破解 — abeirami · 2026-09-13
- 网友称 GPT-6 攻克 3D 双相电导函数闭合问题,待专家验证 — Severe-Ad8673 · 2026-09-13
- 有人启动死果蝇大脑让它认字:16.7 万神经元在线运行 — alvelda · 2026-09-13
- 魔改 vLLM 补丁把 Gemma 4 31B 推理提速至 150 tok/s，超越 SGLang 最佳成绩 — abhijithneil · 2026-09-13