Baseten 研究发现，LLM 新事实写入权重后很脆弱
alex_verem · x · 2026-07-21
Baseten 的一篇论文研究了：语言模型能否把新事实持续写进权重里。作者把 247 条虚构事实逐条写入 Qwen3，再观察连续写入过程中的记忆与遗忘。
- 写法决定效果：如果只训练“裸陈述”事实，模型能高概率背出来，但往往不会用这个事实；如果用 24 种不同改写去训练，“能复述”和“能使用”之间的差距能从 27.4 个百分点降到 5.4 个百分点，而且训练集中并没有直接给出结论。
- 遗忘很快：当后续又写入 20 条事实后，裸陈述训练的事实只剩 1% 记忆率；而用宽泛数据训练的事实还能保留 46%。
- 没被抹掉，只是更难用：被遗忘的事实仍保留了写入时增加的 57%–67% 概率质量，但后续写入会持续干扰前面的知识。
- 结论：模型对新知识的稳定积累，更依赖上下文和提取线索，而不只是把事实塞进权重里。
「研究」频道最新
- researchers 辩论双向注意力：检索微调放大后因果性或可舍弃 — antoine_chaffin · 2026-09-11
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11
- 智利学者：AI 反馈规模化是医学教育可持续的关键 — julianvarascom · 2026-09-11
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11