HAPAX 训练法削弱归纳复制，抽象 ICL 仍能涌现
davidbau · x · 2026-10-26
EMNLP 2026 论文《In-Context Learning Beyond Copying》(arXiv:2511.05743) 提出 HAPAX 训练方法：在训练中剔除归纳电路可预测 token 的损失贡献，以控制复制学习的训练压力。
关键发现：
- 即使归纳式复制大幅减少、且训练中不再出现标志性的 loss 相变（phase change），抽象式 few-shot ICL（答案不在上下文中的任务）仍能正常涌现。
- 注意力头分析显示，HAPAX 训练的模型发展出更少、更弱的 induction heads。
- 结论：归纳电路相关涌现现象与抽象 ICL 能力之间的发育关联，比此前假设的要弱——机械式复制可能并非学习更复杂能力的前提。
作者包括 Kerem Sahin、Sheridan Feucht、David Bau、Chris Wendler 等，将于 EMNLP 2026 Hall H 海报session展示。davidbau 评价这是对归纳训练动态的精彩解剖。
所属事件:HAPAX 训练法证明抽象 ICL 不依赖归纳拷贝机制(2 条相关)→
「研究」频道最新
- Anthropic 可解释性演示翻车:激活"tiny 神经元"后 AI 念叨自己很小 — Sauers_ · 2026-10-26
- 研究发现操控「情绪神经元」可左右模型的社会决策行为 — burny_tech · 2026-10-26
- Jurafsky & Martin 教材 17 页 HMM 专章 PDF 免费分享 — burny_tech · 2026-10-26
- 两篇 LLM 机械可解释性研究登陆 EMNLP：Agent 做电路解释与代码安全转向 — ZiyuYao · 2026-10-26
- Lafa 论文:流模型改自回归权重扩到 8B,吞吐达 AR 2.54 倍 — burny_tech · 2026-10-26
- 谁来做下一个Distill？交互式ML科普平台停更已四年 — k7agar · 2026-10-26