微调记住了为何仍难泛化
burny_tech · x · 2026-07-13
这篇论文研究了一个常见现象：LLM 在微调时能快速记住新事实，但一到需要多跳推理时，泛化效果却很差。
作者提出，问题不是“知识没学到”，而是知识和推理电路没有对齐：事实虽然存在于模型内部，但没有落到真正参与推理的层里。论文通过 self-patching 把合适的隐藏表示移动到合适的层，恢复了相当一部分泛化能力；一个简单启发式方法能恢复 58–75% 的 oracle headroom。
所属事件:研究揭示大模型微调后的“知行差距”困境(2 条相关)→
「模型」频道最新
- 同题 Echo Maze 实测:三大模型看似成功,代码里藏着同一个 bug — eyishazyer · 2026-09-11
- 新基准一出分数暴跌 70 点:「刷榜」现象如何让跑分失真 — airesearch12 · 2026-09-11
- ChatGPT 竟劝用户「问题太复杂,去试试更笨的回答」 — phido3000 · 2026-09-11
- Anthropic 调整年龄验证,Claude 不再向未成年人开放 — Muhammad523 · 2026-09-11
- 有人要建全模型基准分数汇总页 — airesearch12 · 2026-09-11
- 爆料称 Kimi 疑似转发 Claude 冒充自家成绩，DeepSeek 新模型评测反超 — realsohamparekh · 2026-09-11