XYEval 论文上架 arXiv：五模型面对误导性建议最高跌 46.7%

xiaohu · x · 2026-10-28

Google DeepMind 研究者 Zhengxuan Wu、Yuxuan Li、Oyvind Tafjord、Been Kim 的论文《XYEval: Agents say yes to bad advice》上传至 arXiv（2609.23939，33 页 11 图）。论文提出可将现有基准转化为「XY 问题」评测的元评测框架，在 6 个基准上测试 5 个模型，发现 agent 面对用户貌似合理但误导性的建议时性能大幅下滑（相对降幅最高 46.7%）；τ²-bench 显示遇到要求详细解释的「较真用户」时表现进一步下降；系统指令基线只能部分缓解。结论：当前 agent 既难识别用户误导，也难以清晰沟通真实问题。