KLLMs 通过实体匿名化预训练，削弱闭卷事实回忆

gdm3000 · x · 2026-07-21

这篇论文提出 Knowledgeless Language Models（KLLMs）：通过改变预训练信号，让模型少依赖参数里记住的事实，多依赖上下文里的证据。

作者的做法是在预训练语料中对命名实体做匿名化处理，从而去掉一条重要的“实体关联事实监督”通道。论文声称，这种干预会显著降低闭卷事实回忆能力，但在上下文已经提供相关信息的任务上，往往还能提升表现。配图也点出了动机：语言模型会在参数里编码大量事实知识，但当这些知识过时、不完整，或与上下文不一致时，就容易出现不可靠行为。