MIT CSAIL 论文:LM Harness 不是拐杖,是组合泛化器

lateinteraction · x · 2026-11-21

MIT CSAIL 的 Alex Zhang、Souradip Chakraborty 与 Omar Khattab 发布新论文《LM Harnesses are Compositional Generalizers》,挑战「RL 天然带来泛化」的常见假设——泛化能力实际取决于底层网络的表示,未必可靠迁移到未见任务。

核心发现:通过 harness 在训练时以编程方式管理上下文,可以让每次 LLM 调用保持「局部在分布内」(Locally In-Distribution, LID),即把整条轨迹 shaping 成每一步单独调用都在分布内,使 RL 学到可复用的分解策略,组合既有能力解决未见任务,在任务长度、策略、递归深度等维度泛化,长任务训练也更省数据。

作者主张一个更广的范式转变:harness 不只是模型外的包装,harness 设计与模型学习深度交织,agent 的训练方式应反映这一点。

所属事件:MIT 论文:LM Harness 是组合泛化器而非弱模型拐杖(10 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →