研究员激辩：RL 训练 Agent 框架为何比直接训 LLM 泛化更好？

srush_nlp · x · 2026-07-23

Sholto Douglas 与 Rachel Lim 的研究引发讨论。Sasha Rush 质疑实验仅对比了原生 LLM 与带 Python 解释器的 LLM，难以证明模型必须依赖「逐 token」输入。Sholto 回应澄清，实验对比的是直接训练基础模型与训练带 harness（外部工具/环境框架）的模型，且在评估时特意设置了与训练不同的任务长度或主题。数据显示，在 harness 上进行 RL 训练能带来更好的泛化效果，而随意套用标准框架则无此收益。他强调，逐 token 输入的意义在于 harness 能为底层模型的单次调用塑造有效的上下文轨迹。