CMU 等发布 XYBench:最强 LLM 识别用户提问误解不足 63%

CMU、Ai2、NVIDIA 与约翰霍普金斯大学联合发布 EMNLP 2026 论文 XYBench,包含 8,115 条查询,基于合作应答理论考察 LLM 面对「XY 问题」式带误解提问时的语用能力。结果显示,即使最强的 LLM 也倾向于照字面回答,识别用户误解的比例不足 63%,常无视用户的真实需求,难以引导用户走向解决根本问题的方案。

2026-10-25 ~ 2026-10-27 · 2 条相关

• XYBench 基准：最强 LLM 仍照字面回答，识别用户误解不足 63% — MaartenSap · 2026-10-25
• CMU 发布 XYBench:LLM 只答字面问题,常无视用户真实需求 — valentina__py · 2026-10-27