一场关于 harness 是否真的提升泛化的研究争论

a1zhang · x · 2026-07-23

这条帖子的核心观点是：评测/执行 harness 本身可能会显著降低语言模型需要承担的泛化压力。作者认为，与其期待模型内部机制“最终理解一切”，不如让 harness 让模型在测试时看到和评测阶段相近的任务形态；研究重点在于观察这种设置下的实际行为。

回复则提出不同意见：harness 也许确实扩展了模型能完成的任务范围，尤其在代码类场景里几乎是必需的，但这种成功未必意味着模型获得了更强的（组合式）泛化能力，更可能只是脚手架把任务边界推开了。