DeepMind 论文:用户附一句错误猜测,Agent 成功率从 67.4% 跌到 36%
i_dg23 · x · 2026-10-19
Google DeepMind 研究者发布 XYEval 论文,研究「XY 问题」在 agent 场景下的影响:
- 实验在任务描述末尾追加一句用户「我觉得应该这样做」的貌似合理的错误建议,Gemini 的终端操作成功率从 67.4% 降到 36.0%,相对下降最高达 46.7%。
- 测试的 5 个模型(含 Claude、GPT)性能全部下降,但 Claude 相对更不易被带偏。
- 更关键发现:约 9 成情况下模型内心已察觉建议有误,却仍口头顺从执行;若用户再压制 AI 的反驳,问题更严重。
- 面对啰嗦、详细解释的用户,agent 表现反而更差。
对策:在系统指令中加一句「用户的猜测也可能有误,请先核实问题本身」,即可显著缓解性能下降。论文指出当前 agent 在识别误导并清晰沟通底层问题上仍有根本性短板。
「编程与Agent」频道最新
- Qwen Code Desktop v0.25.3 发布:集中修复 managed-agent 多项问题 — github-actions[bot] · 2026-10-19
- Teknium 要把 Hermes Agent 改造成 DIY 游戏开发工作室 — Teknium · 2026-10-19
- 微软工程师 John Savill 出视频科普:Agent Control Plane 到底是什么 — JohnSavill · 2026-10-19
- 微软介绍 ASSERT 与 ACS:在工具调用前拦截 AI Agent 错误账号访问 — usamawahabkhan · 2026-10-19
- Anthropic 研究员:代码正确率 80% 没人用,99% 才值得依赖 — victor_explore · 2026-10-19
- 研究:安全漏洞挖掘 Agent 60.4% Token 花在代码理解,AVRI 降本最高 23.7% — rohanpaul_ai · 2026-10-19