微调记住了为何仍难泛化
burny_tech · x · 2026-07-13
这篇论文研究了一个常见现象：LLM 在微调时能快速记住新事实，但一到需要多跳推理时，泛化效果却很差。
作者提出，问题不是“知识没学到”，而是知识和推理电路没有对齐：事实虽然存在于模型内部，但没有落到真正参与推理的层里。论文通过 self-patching 把合适的隐藏表示移动到合适的层，恢复了相当一部分泛化能力；一个简单启发式方法能恢复 58–75% 的 oracle headroom。
所属事件:研究揭示大模型微调后的“知行差距”困境(2 条相关)→
「模型」频道最新
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
- 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察：Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26