博士论文证最优增量学习不可行,两篇新论文解释预训练为何绕开它
khademinori · x · 2026-09-25
作者以自己博士论文的结论(最优 class-incremental 学习在理论上不可行)为背景,推荐两篇新论文,解释预训练模型为何能绕过这一不可行性。
- 第一篇证明 fine-tuning 会侵蚀泛化裕度(margin),且侵蚀速率随学习率增大而增长。
- 第二篇以闭式解刻画了顺序训练的交叉熵头部中 L2 正则化导致的每阶段偏移,并提出 gauge anchoring 这一以可忽略代价移除该偏移的约束。
- 两项结果均在预先注册的协议下与精确求解对照验证。
所属事件:两篇预训练表示研究入选 NeurIPS，破解增量学习不可行困局(2 条相关)→
「研究」频道最新
- DeepMind 发布 AI 基因学模型，拟加速癌症糖尿病研究 — Polymarket · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- AlphaGenome2 达 SOTA：从梯度预测中链接增强子与靶基因 — anshulkundaje · 2026-11-12
- AG2 消融实验：条件调制需进入编码器，eQTL 召回率近乎翻倍 — anshulkundaje · 2026-11-12
- 作者吐槽 CHI2027 评审:自认 ADR 论文优于所审稿件 — windx0303 · 2026-11-12
- 谷歌发布 AlphaGenome 2:预测 DNA 变异对特定细胞类型的影响 — sundarpichai · 2026-11-12