学到事实≠学会提取:新研究揭示请求形式训练决定 LLM 事实召回方式

_reachsumit · x · 2026-10-05

arXiv 论文(2610.03251)区分"学到事实"与"学会如何提取事实":在"X 的首都是 Y"上训练的模型,遇到"The capital of X is"能答对,换成"The capital of X:"却可能失败——这些被称为不同的请求形式(request form)。实验用两阶段训练分离两者:第一阶段一个模型见过五种请求形式、另一个只见过陈述句,第二阶段两者在全新事实上接受完全相同的陈述式训练。结果两者从陈述句提取新事实几乎一样好,但在其他请求形式上差异显著——说明模型可以在学到事实之前就通过请求形式学会提取方式。作者进一步分析答案生成前的隐状态(context state):第一阶段多形式训练使不同请求形式产生更相似的 context state;在检索时或训练时干预该状态,可开启或阻断已学事实的提取,且效果可跨事实、跨事实关系迁移。