Researchers Debate: Does LLM Generalization Come from the Model or the Harness?

近期，AI 研究者围绕大语言模型（LLM）的泛化能力来源展开了一场技术辩论，核心焦点是：模型在处理新任务时表现出的泛化能力，究竟有多少来自模型自身，又有多少来自外部的训练或执行 harness？这场讨论直接触及了模型扩展定律和评测基准的根本逻辑。

harness 的作用与边界

@a1zhang 在多条帖子中指出，harness（如代码工具、greppers 等）确实能够扩大语言模型能处理的任务集合，并大幅缓解模型在测试集上的泛化压力。最简单直接的方法就是让模型在测试时所见的数据与训练阶段保持字面与词元上的一致。但他强调，这并不意味着模型真的提升了“组合泛化”能力。在代码场景中之所以需要这些外部工具，主要是因为原生 LM 自身存在局限性。理论上，Transformer 自身的权重也能学会这些操作，但通过外部工具辅助可以更高效地达成目标。

评测基准的重新思考

@srush_nlp 提出了一个更深层的视角：既然基础 Transformer 本身没有工具，那么我们在比较不同模型的能力时，真正该比较的可能不是裸露的模型本体，而是把 harness 当成模型一部分的整体系统。这一观点挑战了当前的评测标准——如果把 harness 纳入考量，我们对“模型能力”的定义可能需要重构。此外，他对“完全靠逐 token 条件化才能泛化”的极端观点持怀疑态度，认为 LLM 已经表现出了明显的输入泛化能力。

争议与现状

这场争论目前仍停留在初步阶段。@a1zhang 坦言，将“直接训练 LLM”与“LLM + harness”进行对比，目前只能算是一个小实验，要得出真正具有普适性的结论，还需要更充分的 scaling 研究来证明。核心争点依然清晰：LLM 的泛化能力是内生的，还是被外部框架“伪装”出来的？这个问题仍悬而未决。

2026-07-22 ~ 2026-07-23 · 8 related posts

• A new RL finding says the training harness may induce generalization — inductionheads · 2026-07-22
• Technical Debate: Should Base Transformers Come Equipped with Code Tools — a1zhang · 2026-07-23
• [source] Researchers debate whether a code harness, not the base model, is the real unit of comparison — srush_nlp · 2026-07-23
• Harnesses widen what LMs can do, but may not improve compositional generalization — a1zhang · 2026-07-23
• [source] Harnesses may be widening LM capability without creating true generalization — a1zhang · 2026-07-23
• LLM Generalization: Harnesses Can Alleviate Generalization Pressure — a1zhang · 2026-07-23
• [source] Researchers debate whether LLMs need token-for-token conditioning to generalize — srush_nlp · 2026-07-23
• A thread argues LLM harnesses may improve generalization beyond the base model — a1zhang · 2026-07-23