机制可解释性研究：双重下降是记忆与泛化的相变
gordic_aleksa · x · 2026-09-15
Aleksa Gordić 挖出 Anthropic 机制可解释性博客中一个较冷门的发现：双重下降（double descent）可被理解为模型从「记忆单个样本」到「学习可复用结构」的相变。
- 小数据量下，模型把数据点本身当作「特征」，在隐藏空间中为每个样本分配独立方向（附图最下一行的红色多面体；蓝色为权重特征），即逐点记忆。
- 随着数据量增长，模型从数据点特征过渡到跨样本复用的泛化特征——最下一行的记忆结构被摧毁，模型相当于主动「撤销」了此前的记忆。
- 两种策略之间的混乱过渡期造成测试损失出现双重下降的凸起。
泛化似乎在每个底层特征以不同组合出现多次后才会产生（最简单实验中约每特征出现 10 次）；重复的数据点会与可复用特征争夺模型容量。
所属事件:Anthropic 研究：双重下降是记忆到泛化的相变(2 条相关)→
「模型」频道最新
- 别再按月租智能了:Anthropic 服务端新规再掀开模型之争 — alex_verem · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- SemiAnalysis：安全分类器压分，Opus 5.5 与 GPT-6 Astra 排名被低估 — morqon · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02