14B 裁判不比 8B 强:一句提示词修改让评分从 3/14 升到 10/14
Lost-Masterpiece2400 · reddit · 2026-10-17
一位在全本地环境(9070 XT + 3060,Ollama)跑 agent 系统的开发者分享了一个反直觉发现:结构比模型大小更重要。
- 他的设置:一个 coder 模型修复故障服务,一个独立的 judge 模型给诊断结果打分
- 他以为更大的 judge 打分更准,于是对比 Qwen3 14B 和 qwen3:8b——14B 没有更好,还慢约 3 倍(因为溢出 3060 的显存)
- 排查后发现问题所在:judge 会把 coder 只提出但从未执行的命令也记为扣分项
- 在提示词里加一句说明这个区别后,正确评分从 3/14 升到 10/14
作者承认样本小,不称已证实,但这个案例对做 agent eval 的人很有启发:先修评分标准,再考虑换更大的模型。
「编程与Agent」频道最新
- 「我是全栈工程师」:一张未来模型代号表引发的 AI 圈梗 — rachittshah · 2026-10-17
- Reddit 高赞:检查点文件+清空上下文,让 Agent 连跑数天不失忆 — Motiv31 · 2026-10-17
- 自建笔记 AI 问答:语义检索搞不定日期与成员关系查询 — bzarnal · 2026-10-17
- Reddit 用户怒批 Codex 过度工程化:把 30 秒启动流程拖成一小时 — Reaper_1492 · 2026-10-17
- 10 个开源仓库教你把小模型训练成自己的 Agent:Unsloth、verl 等一览 — victor_explore · 2026-10-17
- 机器人工程师叫板编码 agent:视觉运动控制系统你们做不了 — AlexTensor · 2026-10-17