Meta论文揭示量化导致推理模型过度思考，惩罚特定词可止损
rohanpaul_ai · x · 2026-08-09
Meta的一项新研究指出，对推理模型进行后训练量化（Post-training quantization）虽然能降低运行成本，但会引入噪声，导致模型在已经得出正确答案后频繁“自我怀疑”。
量化噪声使得模型在不确定的词汇选择处更容易生成“wait”、“but”等词，从而重新开启推理过程。这种过度思考使得失败率最高增加了52%。
研究人员在数学、编程和科学任务上，使用1.5B至32B参数的5个模型验证了该现象。他们发现，只需对约50个犹豫词汇施加轻微的解码惩罚，就能将推理长度缩短12%至23%，同时保持甚至提高准确率。
「模型」频道最新
- OpenAI 与 Anthropic 周报：Astra 网安评级、GPT-5.6 更新与 Agent 插件 — btibor91 · 2026-08-09
- 英伟达发布 Nemotron-Parse-2.0，主打文档与图像解析 — nvidia · 2026-08-09
- 曝OpenAI GPT-6本月发布，10T参数预训练，内部称远超Fable — iruletheworldmo · 2026-08-09
- 疑似新 GPT 图像模型曝光，代号 mona-lisa-1 — mark_k · 2026-08-09
- Gemini AI 用户呼吁支持提示词中的代码块渲染 — Novel-Nature-7741 · 2026-08-09
- 谷歌 DiffusionGemma：仅用 10% 预算改造大模型，并行生成提速至 1500 tokens/s — The Decoder · 2026-08-09