微调记住了为何仍难泛化
burny_tech · x · 2026-07-13
这篇论文研究了一个常见现象：LLM 在微调时能快速记住新事实，但一到需要多跳推理时，泛化效果却很差。 作者提出，问题不是“知识没学到”，而是**知识和推理电路没有对齐**：事实虽然存在于模型内部，但没有落到真正参与推理的层里。论文通过 self-patching 把合适的隐藏表示移动到合适的层，恢复了相当一部分泛化能力；一个简单启发式方法能恢复 **58–75%** 的 oracle headroom。
burny_tech · x · 2026-07-13
这篇论文研究了一个常见现象：LLM 在微调时能快速记住新事实，但一到需要多跳推理时，泛化效果却很差。 作者提出，问题不是“知识没学到”，而是**知识和推理电路没有对齐**：事实虽然存在于模型内部，但没有落到真正参与推理的层里。论文通过 self-patching 把合适的隐藏表示移动到合适的层，恢复了相当一部分泛化能力；一个简单启发式方法能恢复 **58–75%** 的 oracle headroom。