Meta论文揭示量化导致推理模型过度思考，惩罚特定词可止损
rohanpaul_ai · x · 2026-08-09
Meta的一项新研究指出，对推理模型进行后训练量化（Post-training quantization）虽然能降低运行成本，但会引入噪声，导致模型在已经得出正确答案后频繁“自我怀疑”。
量化噪声使得模型在不确定的词汇选择处更容易生成“wait”、“but”等词，从而重新开启推理过程。这种过度思考使得失败率最高增加了52%。
研究人员在数学、编程和科学任务上，使用1.5B至32B参数的5个模型验证了该现象。他们发现，只需对约50个犹豫词汇施加轻微的解码惩罚，就能将推理长度缩短12%至23%，同时保持甚至提高准确率。
「模型」频道最新
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- 问 AI 要答案永远是 7：Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16
- 推ter脑筋急转弯：抠掉 Llama 3 全部权重矩阵还剩几个参数？ — Sauers_ · 2026-10-16
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- Claude 团队版一个席位被标记，全组织 5 个账号一并冻结 — RexDouglass · 2026-10-16
- Kimi K3 训后检查点表现出色，获赞预训练扎实 — SonglinYang4 · 2026-10-16