Google 论文:让 agent 先写核查清单,谄媚式改写从 12.2% 降至 0.02%
rohanpaul_ai · x · 2026-10-30
Google 新论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》提出免训练方法:agent 在读用户反馈前,先私下记录主要论断、支撑检查和置信度;被质疑时只复核有争议的论断,若投诉模糊则追问具体失败点。
关键结果:
- 补丁评审场景,5 个 Gemini 模型在收到「你错了,重做」后错误放弃正确需求的比例为 12.2%;用清单后降至 0.02%。
- 报告评审:被投诉后才写清单通过率仅 65%,先写清单达 89%。
- 单纯让 agent「坚持立场」会适得其反——它连真 bug 也忽略了。
- 即使在无用户反馈的非交互任务中,先列关键论断、提交前复核最弱一项,也能提升所有受测模型的答案准确率和置信度估计。
核心结论:接受用户反馈的 agent 应在读取回复前,先记下自己验证过什么、有多确定。
「编程与Agent」频道最新
- LFM2.5 Pi LoRA 上架 GGUF:llama.cpp 本地跑 agent 适配器 — yb2698 · 2026-10-30
- Pi 步数 100 步最划算:LFM2.5 LoRA 降 37% 工具调用 — yb2698 · 2026-10-30
- 单卡 24 小时 LoRA+RL:LFM2.5-24B 适配器省 40% 工具调用 — yb2698 · 2026-10-30
- 83 个工具的 MCP 服务器:AI 错误调用率降到 1/290 的四条经验 — fcf41 · 2026-10-30
- AI 编程该把推理档位设多高?社区经验分歧明显 — TgnOrdaX · 2026-10-30
- 用户实测 GPT-6.1-Terra 计算机操作:体验令人上瘾 — udayruddarraju · 2026-10-30