XYBench 基准：最强 LLM 仍照字面回答，识别用户误解不足 63%

MaartenSap · x · 2026-10-25

CMU 等机构提出 XYBench(8,115 条查询)，考察 LLM 面对「XY 问题」式带误解提问时能否识别误解并引导用户走向解决根本问题的方案。评测基于合作应答理论的三项标准：是否给出实用方案、是否强调该方案、是否点出误解。

实验发现：最强的 LLM 也大多照字面回答请求(0.75–0.92),很少回应用户真实意图(0.33–0.71);识别误解的能力(最高 63%)远落后于人类(79–90%)。模型在选择题中几乎都偏好「实用回应」，却难以主动生成。消融显示在生成时显式给出用户意图能有所帮助，但差距依然很大，说明实用性的重定向引导是当前 LLM 的短板。论文将在 10 月 27 日 ICLR 海报环节展示。