Anthropic 论文:双下降是记忆样本到学习结构的相变
gordic_aleksa · x · 2026-09-15
Aleksa Gordic 推荐了 Anthropic Transformer Circuits Thread 的论文《Superposition, Memorization, and Double Descent》，并点出其中最有趣的发现：double descent 可以理解为模型在「逐条记忆训练样本」与「从数据中学习可复用结构」之间的相变。
- 论文延续此前 superposition 研究，转向过拟合机制：小数据 regime 下，模型会把数据点本身当作「特征」，在隐空间为其分配独立方向来实现逐条记忆
- 逐条记忆天然互斥、无干扰，是 superposition 的理想候选场景
- 理解过拟合/记忆机制被认为对机制可解释性乃至可解释特征学习至关重要
所属事件:Anthropic 研究：双重下降是记忆到泛化的相变(2 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Mistral Large 4 短提示词从零写出量子化学 SCF 求解器并自建 3D 可视化 — MistralAI · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02