惩罚 wait 等犹豫词,Qwen3.5-4B 准确率普涨
受 Meta 一篇关于「过度思考标记」论文的启发,一位 Reddit 用户在 llama.cpp 上实测:对 Qwen3.5-4B 的各量化版本,给 wait、maybe、perhaps 等 48 个犹豫模糊词施加 logit 惩罚,并要求模型诚实作答,结果各版本在测试集上的准确率普遍提升。博主 yangyi 引申认为,压低模糊措辞的生成概率或能让模型输出更果断,为推理模型的过度思考问题提供了简单可行的缓解思路。
2026-09-28 ~ 2026-09-28 · 4 条相关
- 给 wait/maybe 等 48 个词加 logit 惩罚,Qwen3.5-4B 各量化版准确率普涨 — am17an · 2026-09-28
- 压低 wait/maybe 词概率,Qwen 准确率反而提升 — yangyi · 2026-09-28