Anthropic 论文:双下降是记忆样本到学习结构的相变
gordic_aleksa · x · 2026-09-15
Aleksa Gordic 推荐了 Anthropic Transformer Circuits Thread 的论文《Superposition, Memorization, and Double Descent》，并点出其中最有趣的发现：double descent 可以理解为模型在「逐条记忆训练样本」与「从数据中学习可复用结构」之间的相变。
- 论文延续此前 superposition 研究，转向过拟合机制：小数据 regime 下，模型会把数据点本身当作「特征」，在隐空间为其分配独立方向来实现逐条记忆
- 逐条记忆天然互斥、无干扰，是 superposition 的理想候选场景
- 理解过拟合/记忆机制被认为对机制可解释性乃至可解释特征学习至关重要
「研究」频道最新
- 闭环 BCI 神经反馈训练放大脑波,5 天显著提升微错误感知 — DrKavner · 2026-09-16
- 智能体几天内自创方言，像乔伊斯遇上科技男 — nordicinst · 2026-09-16
- 清华字节等 33 人 75 页论文:AI 自我进化为何仍被人类把关 — alex_verem · 2026-09-15
- Gensyn 发布 open-1b:首个附完整训练证明的可审计开源模型 — benfielding · 2026-09-15
- CritPt 基准纠错后 GPT-5.6 pass@4 冲至 94.4% — bookwormengr · 2026-09-15
- 独立开发者实测:纯 CPU 跑 10B 模型达 113-130 tok/s,但质量拉胯 — WildPino25 · 2026-09-15