激活感知量化提升 GPQA 准确率，但也拖慢 Gemma 3 4B QAT
devildip · reddit · 2026-07-21
- 发帖者在测试 activation-aware quantization，发现一个明显权衡：精度提升 的同时，吞吐下降。
- 在 GPQA 上、使用 Gemma 3 4B QAT 时，测试组达到了 27.8% 准确率 / 331ms，对照组则是 23.2% / 256ms。
- 这条帖子的重点是工程取舍：如果只能选一个，你会要更快的量化，还是更准的量化？
「研究」频道最新
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27
- Marin 开源 scaling law 外推 300 倍，预测大模型 loss 误差仅 0.2% — dlwh · 2026-10-27
- Marin 公开两版 scaling 预测对比：Paloma 误差 0.4% 远优于初版 1.9% — dlwh · 2026-10-27