CSAIL 新文:语言模型 harness 才是组合泛化的关键,而非模型本身
arjunrajlab · x · 2026-10-05
转发推荐了 CSAIL 的 Alex Zhang 等人的新文章《Language model harnesses are compositional generalizers》。
- 问题:现代后训练正变成「堆更多环境、拉更长训练时程」的暴力范式,根源是前沿 Transformer 的组合泛化能力差——不会把学到的简单技能组合成解新题的能力,每个新领域都要重新投入训练数据。
- 主张:泛化不该全交给底座网络的 token 级归纳偏置(2017 年那套),而应由 harness——夹在外部世界与神经网络之间的程序——承担更高层的归纳偏置,把复杂陌生问题化归为熟悉子问题的组合。
- 具体方向:好的 harness 应让每次对 Transformer 的调用都在局部 in-distribution,即每次调用处理的 prompt 都落在训练数据分布内。
- 观察:训练 RLM(递归语言模型)时发现,结构相似的任务被视为同构,harness 中所有 LM 调用都变成 in-distribution——harness 本身能带来组合泛化。
「研究」频道最新
- 材料发现计算方法速查指南发布,覆盖主流 DFT 计算路线 — Ben_Reinhardt · 2026-10-06
- 4478人参赛120国,BioHub细胞追踪Kaggle挑战赛收官 — WalterReade · 2026-10-06
- 网传超导突破被纠正:实为模拟中的低温半导体,非颠覆性成果 — altryne · 2026-10-06
- Anthropic x Adaptyv 蛋白质设计竞赛第二关:设计 TNF-α pH 响应结合剂 — CatAstro_Piyush · 2026-10-06
- 用 signature 回归做经济数据 nowcasting,新方法论文发布新版 — lihua_lei_stat · 2026-10-06
- 谷歌 Cogentic 多智能体系统在 5 个公开数学问题上取得新成果 — Dr_Singularity · 2026-10-06