给 wait/maybe 等 48 个词加 logit 惩罚,Qwen3.5-4B 各量化版准确率普涨
am17an · reddit · 2026-09-28
受 Meta 一篇关于『过度思考标记』论文的启发,一位 Reddit 用户在 llama.cpp 上做了实测:对 Qwen3.5-4B 的各量化版本,给 wait、maybe、perhaps、hmm、however、reconsider 等 48 个『犹豫/回溯』类 token 加 -2 的 logit-bias,然后在 50 道 MATH-500 随机题目上对比。
结果相当惊人,连 BF16 也受益:
- BF16:74% → 84%,推理 token −19.4%
- Q80:76% → 80%,−11.0%
- Q4KM:60% → 66%,−14.8%
- Q3KM:52% → 66%,−17.5%
- Q2K:12% → 24%,−11.5%
即压抑模型的『犹豫词』既降低推理开销又提升准确率,低量化版本收益更明显。帖子给出了完整的 llama.cpp logit-bias 命令,可直接复现;作者也提醒这只是单模型单次测试。
所属事件:惩罚 wait 等犹豫词,Qwen3.5-4B 准确率普涨(4 条相关)→
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16
- lemire:AI 改变编程的不是速度,而是扩大工程师的「认知半径」 — lemire · 2026-11-16