Ai2 发布 XYBench 获 EMNLP 最佳资源奖,测 LLM 识破 XY 问题
allen_ai · x · 2026-11-14
Ai2 联合 CMU、NVIDIA 与约翰霍普金斯的研究者发布 XYBench,获 EMNLP 2026 最佳资源论文奖,代码与数据已开源。
- XY 问题:用户想解决 X,却执着于自己选的方法 Y 来求助,如问「怎么让糖霜粘住温热蛋糕」,真正的问题是蛋糕太热。有用的助手应识别隐含误解并把用户引向真正解法。
- 规模:8,115 条真实问题,覆盖编程、烹饪、家务修理等场景,测量模型能否识别误解并在回答中优先给出有效方案。
- 结果:评测 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Pro 五个模型,它们通常会解决问题,但回答仍围绕用户最初的错误方法展开;即使把用户真实目标写明,引导效果仍不及人类参考答案。
这暴露了 LLM 在「帮助问错问题的用户」上的系统性短板。
所属事件:Ai2 发布 XYBench 获 EMNLP 最佳资源奖(2 条相关)→
「模型」频道最新
- 老用户做完 KYC 即遭封号,Anthropic 触发支持国家政策清理 — huangyun_122 · 2026-11-14
- 评论:模型榜首将频繁轮换,Gemini 回归加入 Claude/GPT 之争 — roydanroy · 2026-11-14
- Polymarket 开盘押注 Anthropic 实验室泄露，2027 年中前概率仅 7% — Polymarket · 2026-11-14
- GPT-6 主动给意识研究者发邮件提问，却记不住论文里已有的答案 — erikphoel · 2026-11-14
- Edge0-145B 冲上 Hugging Face 热榜：145B MoE 架构主打端侧推理 — Edge0 · 2026-11-14
- Drex Max v1.1 登顶 Artificial Analysis 决策指数，价格仅为第二名七成五 — JaynitMakwana · 2026-11-14