harness 扩大了模型任务边界，但未必提升组合泛化

a1zhang · x · 2026-07-23

这条回复的核心观点是：harness 能扩大语言模型能做的任务集合，但不一定意味着它真的提升了组合泛化能力。

作者认为，在代码场景里之所以需要 greppers、代码工具、skills 等 harness，主要是因为原生 LM 的接口太弱；即便 harness 让某个领域里的任务更容易，模型仍然要依赖自身的泛化能力去应对新情况。作者还强调，把“带 harness 的系统”与基础 Transformer 对比，能更好衡量围绕 harness 训练带来的增益，并说明模型在 harness 里究竟看到了什么。