论文揭示 LLM 工具调用判分的「推导缺口」：无参照即拒判

Linhai Ma · hf · 2026-10-15

来自 The Fin AI、耶鲁与卡迪夫大学的论文 Judges Follow the Reference 研究了 LLM agent 的工具调用参数判分（judge）行为。

核心发现「推导缺口」（derivation gap）：当判分器输入中没有能说明参数值来源的参照文本时，即使是正确的值也更常被拒绝——典型情形包括函数 schema 默认值、需要推断的值、来源文本被截断。
该缺口在全部 7 个被测判分器上均出现，且并非截断伪影：在无截断的 benchmark 上，正确的默认值缺口最大。
受控实验：把来源「搬家」后测试显示，判分器倾向接受输入中可见的错误值，而拒绝来源被隐藏的正确值——它们实质是在「跟着参照走」。
提出 DeRef 方法：用一个独立模型在不看候选值的情况下通读完整对话历史，为判分器生成参照。三个 benchmark 上 DeRef 均提升所有判分器的参数 AUROC；受控测试中把 AUROC 从随机水平提升至 98.40–99.59。

「编程与Agent」频道最新