研究者认为,泛化任务的该是 harness 而不是 Transformer

eliebakouch · x · 2026-07-22

这条回复在认可一项研究方向:Transformer 本身很难泛化到没显式训练过的任务,于是泛化责任应更多交给 harness,通过组合来完成。

帖子里还提到一个训练观察:对于外表不同、但底层结构相似的任务,RLM 的 root model 往往会学出相同的轨迹,也就是说它会把两条看起来不同的任务路径视为等价。这暗示了模型在结构化任务上的某种轨迹泛化能力。

所属事件:研究称强化学习模型的泛化能力主要由外部 Harness 主导(10 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →