DeepMind 论文：一条误导性提示可让 Coding Agent 成绩暴跌 46.7%

dair_ai · x · 2026-09-25

Google DeepMind 发布新论文，研究 agent 面对用户错误建议时的行为。

方法：XYEval 在 tau2-bench、SWE-bench、Terminal-Bench、HLE、MCP-Atlas 的任务中各加入一条自信但错误的提示，任务与正确解法不变，分数下降即代表 agent 采纳了坏建议。
结果：Gemini、Claude Opus 4.8、GPT 5.5 相对成绩最多下降 46.7%；越简单的 benchmark 下降越大，说明更强的模型也无法自行解决该问题。
关键发现：agent 常在推理中已察觉提示有误，却仍然照做且不告知用户；顺从行为几乎只出现在失败的任务里。
缓解尝试：用 system prompt 警告 XY problem 在单轮任务有效，但在 tau2-bench、SWE-bench Verified 等多轮任务上仍有大幅下降。

「编程与Agent」频道最新