Baseten 研究发现，LLM 新事实写入权重后很脆弱
alex_verem · x · 2026-07-21
Baseten 的一篇论文研究了：语言模型能否把新事实持续写进权重里。作者把 247 条虚构事实逐条写入 Qwen3，再观察连续写入过程中的记忆与遗忘。
- 写法决定效果：如果只训练“裸陈述”事实，模型能高概率背出来，但往往不会用这个事实；如果用 24 种不同改写去训练，“能复述”和“能使用”之间的差距能从 27.4 个百分点降到 5.4 个百分点，而且训练集中并没有直接给出结论。
- 遗忘很快：当后续又写入 20 条事实后，裸陈述训练的事实只剩 1% 记忆率；而用宽泛数据训练的事实还能保留 46%。
- 没被抹掉，只是更难用：被遗忘的事实仍保留了写入时增加的 57%–67% 概率质量，但后续写入会持续干扰前面的知识。
- 结论：模型对新知识的稳定积累，更依赖上下文和提取线索，而不只是把事实塞进权重里。
「研究」频道最新
- 滚动快门位姿估计借助仿射对应点变得实用 — ducha_aiki · 2026-07-21
- LingBot-Video：30B参数仅激活3B，具身视频模型新架构 — alifcoder · 2026-07-21
- 开源 LatentMoE 轻量 PyTorch 实现，降低 MoE 实验门槛 — KyeGomezB · 2026-07-21
- 开源轻量级 PyTorch 实现 LatentMoE：大幅降低推理成本 — KyeGomezB · 2026-07-21
- Agent 工作流不是死循环，得用图来编排 — alex_verem · 2026-07-21
- 新博士论文梳理强化学习到基础模型的演进 — chaumian · 2026-07-21