HAPAX 训练法去掉归纳拷贝,抽象 ICL 依然涌现,推翻既有假说
davidbau · x · 2026-10-26
Northeastern 大学 David Bau 团队的 HAPAX 论文（EMNLP 2026 Main）检验了一个流行假说：induction heads（拷贝电路）是否是所有 in-context learning 的基础。
核心做法与发现：
- HAPAX 是一种训练策略：把训练 loss 中可被 induction heads 预测的 token 排除掉，从源头降低模型学「机械拷贝」的压力。
- 结果：尽管归纳式拷贝大幅减少、induction heads 更少更弱、且不再出现标志性的 phase change，抽象 ICL 能力（答案不在输入中的任务）依然照常涌现，最终准确率与 vanilla 相当。
- 结论：induction 电路的涌现与抽象 ICL 涌现之间的发育关联比此前认为的弱得多——「死记硬背是学更难能力的前提」这个问题的答案是否定的；去掉拷贝压力的模型甚至翻译得略好。
论文、代码与模型权重均已公开。
所属事件:HAPAX 训练法证明抽象 ICL 不依赖归纳拷贝机制(2 条相关)→
「研究」频道最新
- 新研究挑战 VAD 三维模型：词义更接近善意-力量-攻击-危险-结构 — abenitezburraco · 2026-10-26
- 三周从零训一个 1B 模型：作者晒 15.9 天训练实录 — arthurcolle · 2026-10-26
- TWIG 论文:权重即离散决策路径,统一压缩与电路化部署 — ITMO · 2026-10-26
- Dual Exam 基准:多模态智能体与世界模型表现脱节 — Zhefan Rao · 2026-10-26
- CoRL 论文：VLA 机器人策略单步推理即可匹敌多步，动作生成提速 1.6~4.8 倍 — kaixhin · 2026-10-26
- 生物模拟为何难:参数敏感性普遍「马虎」,精确测量常非关键 — rbhar90 · 2026-10-26