惩罚 wait 等犹豫词,Qwen3.5-4B 准确率普涨

受 Meta 一篇关于「过度思考标记」论文的启发,一位 Reddit 用户在 llama.cpp 上实测:对 Qwen3.5-4B 的各量化版本,给 wait、maybe、perhaps 等 48 个犹豫模糊词施加 logit 惩罚,并要求模型诚实作答,结果各版本在测试集上的准确率普遍提升。博主 yangyi 引申认为,压低模糊措辞的生成概率或能让模型输出更果断,为推理模型的过度思考问题提供了简单可行的缓解思路。

2026-09-28 ~ 2026-09-28 · 4 条相关

另有 2 条近重复转述:yangyi · yangyi