微调后为何会记住但不会用

HKUST · hf · 2026-07-13

这篇论文研究大模型微调中的一个常见问题：模型能快速记住新知识，但在下游推理任务里却用不出来。作者把这一现象形式化为 **Knowing–Using Gap**，包括两个特征： - 记忆与泛化之间的准确率差距 - 知识从记住到真正可用之间的时间滞后为了解释其内部机制，论文提出 **self-patching** 干预方法，追踪知识在模型内部的空间扩散动态，并定位那些把表征迁移到正确层后能显著改善失败案例的位置。结果支持一种“知识电路错配”的假设：知识虽然已在内部存在，但没有被路由到能参与计算的层。最后作者给出一个简单启发式策略，在泛化失败案例中恢复了约 58%–75% 的 oracle 余量。