CMU 发布 XYBench:LLM 只答字面问题,常无视用户真实需求
valentina__py · x · 2026-10-27
CMU、Ai2、NVIDIA 与 Johns Hopkins 联合发布 EMNLP 2026 论文 XYBench,研究 LLM 面对「问错问题」时的语用能力:用户常问怎么执行自己选定的方案,而非真实目标(例:「怎么用 regex 解析 XML」,实际需求是「提取 XML 里的数据」)。
- 基准构成:8,115 条带错误认知的查询,来源为 Stack Overflow/Stack Exchange(1,659)、人工整理(102)、WikiHow(6,272)
- 合作式回答应含三步:解决字面请求、指出错误认知(如 regex 处理不了嵌套标签)、回应真实需求(改用 XML parser)
- 评估维度:方案存在性(S-solution / I-solution)、回答侧重、是否主动纠偏
- 核心发现:LLM 几乎只回答被问到的字面问题,经常强化用户的错误认知,而非像人类专家那样回应提问者真正需要的东西
所属事件:CMU 等发布 XYBench:最强 LLM 识别用户提问误解不足 63%(2 条相关)→
「研究」频道最新
- Exponential 发布 RepoInject 与 BrowserInject 基准，测 prompt injection 防护 — maksym_andr · 2026-10-27
- Redwood 研究:CoT 可控性评测严重欠激发,简单提示优化可提升 2-3 倍 — dfrsrchtwts · 2026-10-27
- 用 BeamZ 逆向设计光学系统跑通 MNIST 分类 — S_Conradi · 2026-10-27
- DeCert 框架无需参考答案评估生成式奖励模型的论证质量 — Guiquan Sun · 2026-10-27
- 新研究：VLM harness 同样是组合泛化器,可拆解复杂图像问题 — a1zhang · 2026-10-27
- 新文呼吁启动 AI 界「人类基因组计划」加速可解释性研究 — ninamiolane · 2026-10-27