Baseten 用 247 条虚构事实测试 Qwen3，权重记忆仍不稳

gerardsans · x · 2026-07-26

论文在测试什么

• Baseten 的论文 Can a Language Model Learn Facts Continually in Its Weights? 用 Qwen3 做连续写入实验，依次把 247 条虚构事实写进模型权重。
• 研究通过持出问题和原始提示词作为参照，观察这些事实在后续多次更新后是否还能被检索到。

主要结论

• 裸陈述式写入 一开始几乎能做到完整复述，但一旦进入真实使用场景就迅速失效。
• 更像“学习材料”的数据 表现更好，不过在大约 20 次连续写入 后，绝大多数事实仍会丢失或变得难以检索。
• 所谓“遗忘”的事实并非真正被抹掉：它们对应的对数概率增益往往还在。
• 把同一句事实放回 上下文 里，准确率可以回升到 80%，而且不需要改动权重。
• 两条已写入事实几乎很难协同工作；模型连自己最近训练进去的内容都不稳定。
• 作者认为性能损伤与相对原模型的 KL 散度相关，每一次编辑都会牵连整体一致性。

结论

作者的判断很直接：微调并不是一种可靠的“持久知识存储”机制。权重写入更像是在预训练分布表面打补丁，而预训练先验始终会重新占上风。

原文链接 →

「模型」频道最新

• 早期测试显示 Gemini 3.5 Pro 不再像 3.1 Pro 那样懒 — Able-Line2683 · 2026-07-26
• 实测 Claude Opus 5：高负载下 Token 消耗极低 — CtrlAltDwayne · 2026-07-26
• 一条帖子估算 Claude Fable 5 可能有 14.5 万亿参数 — imjustnewatai · 2026-07-26
• Reddit 截图显示 Gemini 疑似泄露了提示词 — BloonLord · 2026-07-26
• Macaron-V1 上线 Hugging Face，基于 Qwen3.6-35B-A3B — MundanePercentage674 · 2026-07-26
• POCKET-35B 宣称可 CPU 跑到 59 tok/s，手机也能本地运行 — Powerful_Evening5495 · 2026-07-26

更多「模型」频道 AI 资讯 →