从记忆存储理解 LLM：事实习得三阶段与幻觉同步涌现
scott_linderman · x · 2026-10-21
Nicolas Zucchet 转发 Alex Wang 的新博客《how much can models remember?》，主张理解 LLM 应从神经网络如何存储记忆入手——该视角可以从头推导出 transformer 的每一层。Zucchet 同时分享了团队的相关研究（arXiv:2503.21676），核心发现：
- LLM 学习事实知识分三个阶段，精确事实出现前有明显性能平台期；机制上平台期对应支撑回忆的 attention 电路形成
- 训练数据分布显著影响学习动态：不均衡分布会缩短平台期
- 幻觉与知识同步涌现，且通过微调注入新知识很困难，容易破坏已有参数化记忆
结论强调数据分布/调度策略对知识获取的重要性，为加速训练与降低幻觉提供新思路。
「模型」频道最新
- Space Bunny Alpha 实为 MiniMax M3.1 Flash：1M 上下文、主打性价比 — ZabihullahAtal · 2026-10-21
- Rork 界面现「Opus 5.5 Medium」选项,Anthropic 新模型或曝光 — rudrank · 2026-10-21
- RSI-Bench 首批任务通过验证管线,含 reward-hacking 检测与补丁 — SRSchmidgall · 2026-10-21
- 开发者吐槽 Anthropic 生物安全护栏：读篇论文就触发拦截 — robleclerc · 2026-10-21
- Reddit 用户称本地运行的未审查版 DeepSeek 对病毒提问毫无犹豫直接作答 — Only_Light_9817 · 2026-10-21
- Interconnects 第 25 期：盘点 28 个新模型，覆盖 DeepSeek V4.1 Flash 与中美新监管 — natolambert · 2026-10-21