Baseten 研究发现，LLM 新事实写入权重后很脆弱
alex_verem · x · 2026-07-21
Baseten 的一篇论文研究了：语言模型能否把新事实持续写进权重里。作者把 247 条虚构事实逐条写入 Qwen3，再观察连续写入过程中的记忆与遗忘。
- 写法决定效果：如果只训练“裸陈述”事实，模型能高概率背出来，但往往不会用这个事实；如果用 24 种不同改写去训练，“能复述”和“能使用”之间的差距能从 27.4 个百分点降到 5.4 个百分点，而且训练集中并没有直接给出结论。
- 遗忘很快：当后续又写入 20 条事实后，裸陈述训练的事实只剩 1% 记忆率；而用宽泛数据训练的事实还能保留 46%。
- 没被抹掉，只是更难用：被遗忘的事实仍保留了写入时增加的 57%–67% 概率质量，但后续写入会持续干扰前面的知识。
- 结论：模型对新知识的稳定积累，更依赖上下文和提取线索，而不只是把事实塞进权重里。
「研究」频道最新
- AlphaFold 背后是五十年实验数据，纯第一性原理仿真仍需实验 — vishalmisra · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26