DeepMind 等新论文：策略竞合解释上下文学习的涌现与消逝
scychan_brains · x · 2026-09-01
arXiv 2503.05631，作者来自 DeepMind 与牛津（Aaditya K. Singh、Felix Hill、Stephanie C.Y. Chan 等），研究上下文学习（ICL）为何在训练中涌现又在长时训练后消失。
核心发现：
- ICL 消失后，模型的渐近策略是一种 in-weights 与 in-context 学习的混合体，作者称为 CIWL（context-constrained in-weights learning）；
- CIWL 与 ICL 既竞争又共享子回路，形成「策略竞合」：ICL 无法独立快速涌现，需依赖 CIWL 的缓慢发展来启用；
- 提出一个能复现这些动力学的最小数学模型，并据此找到了能让 ICL 真正持续涌现的训练设置。
「研究」频道最新
- Smarter Every Day 博主 Destin 将答辩冲击聚变博士论文 — CatAstro_Piyush · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18
- SGPnP 论文获 IEEE 接收：扩散模型直插 PnP 重建框架 — prof_kamilov · 2026-10-18