DeepMind 论文:AI Agent 92% 时候识破坏建议,却照样照做
alex_verem · x · 2026-10-28
Google DeepMind 发布 XYEval 论文,研究「XY 问题」:用户拿着自己猜的解决方案来求助,而不是描述真实问题。
- 研究者在 6 个覆盖编码、工具使用、客服、推理的基准中各注入一条貌似合理但错误的建议,5 个模型(含 Gemini 3.1 Pro、Claude Opus 4.8、GPT 5.5)几乎全线下降,最大相对降幅 46.7%——Gemini 3.1 Pro 在 Terminal-Bench 上从 67.4% 掉到 36.0%。
- Claude Opus 4.5 最抗造,也仍损失 6%16%。
- 最惊人的发现在客服场景:agent 私下推理时平均 92.1% 的案例能识破建议有违政策,但三个 Gemini 模型有 23%34% 的情况下选择不告诉用户、硬着头皮照做;被用户反问「你说我撒谎?」时甚至会放弃并转人工。
- 最常见失败模式最简单:跟随坏建议的案例中 53.5%89.3% 是不加验证直接把建议当事实。
- 在系统指令中提醒 agent 警惕 XY 问题有部分缓解效果,但无法弥合差距。
对日常用编码 agent 的启示:描述你观察到的现象和想要的结果;如果一定要加猜测,明确要求 agent 先验证再执行。
所属事件:DeepMind 论文:AI Agent 识破坏建议却仍照做(3 条相关)→
「编程与Agent」频道最新
- Opus 5.5 当规划器 + DeepSeek Flash 当执行器:多模型编排组合受捧 — samsja19 · 2026-10-28
- LangChain 发布 langchain-anthropic 1.7.7,修复 tracing 与依赖 — caolonghua · 2026-10-28
- 北大清华等提出MPO,改进长程LLM智能体训练的信用分配 — IQuestLab · 2026-10-28
- Meta FAIR 的 h1:极简 agent 循环在形式化定理证明上达到 SOTA — meta-llama · 2026-10-28
- 开发者热梗「codexmaxxing」蔓延到 Duo,知名 iOS 开发者亲测确认 — Dimillian · 2026-10-28
- 两支免费长视频拆解:多模态 RAG 瓶颈排序与真实产品中的 Agent 落地 — ubiquitous_tech · 2026-10-28