研究：层复制与循环结构让语言模型更早学会上下文学习
omarsar0 · x · 2026-10-26
推荐阅读论文《How Depth Growth and Looping Shape In-Context Learning in Language Models》（TUM/Helmholtz AI/Google 团队，arXiv 2610.31421），研究 looped 与 depth-grown 语言模型中层复用对 in-context learning（ICL）的影响。
- 在 3B 参数规模下， grown 和 looped 模型比同深度 dense 模型从后置上下文中获益更多，在任意 few-shot 数量下 GSM8K 成绩都更高，且对未见过的形式语言预测更准。
- 受控任务中它们更早获得 ICL 能力：当任务既可从上下文求解、也可通过在权重中记住固定标签求解时，它们更倾向依赖上下文。
- 机制在注意力头上可见：通过复制层增加深度会同步复制早期 induction heads，多数最强的最终 head 源自少数早期祖先；looped 模型在各次 pass 中也呈现同样的重复模式。
结论是层复用带来一种偏向「从上下文学习」的共同归纳偏置，软参数复用会塑造 ICL 能力的形成路径。
「模型」频道最新
- 大V称 Opus 5.5 为史上最强模型,断言对手难以追赶 — iruletheworldmo · 2026-10-26
- Anthropic 论文：Claude 内部存在功能性情绪表征 — mervenoyann · 2026-10-26
- 配图剧透：Grok Bot 将替你打电话客服，专治排队退款扯皮 — XFreeze · 2026-10-26
- RSI-Exam 榜单:Gemini 4 Argon 得分 0.494 位列第三 — HuaxiuYaoML · 2026-10-26
- 爆料称 Google 内部模型 Carbon 定价将比 Astra 低 5 倍,冲击 OpenAI — bindureddy · 2026-10-26
- 智能指数分数挤在52-58区间:数据不支持递归自我改进起飞论 — gerardsans · 2026-10-26