学者激辩前沿模型推理能力从何而来

9 月 25 日起，AI 学者 Yoav Goldberg 与多位研究者在推特上围绕「前沿模型的推理能力从何而来」展开多轮讨论。Goldberg 表达行业级困惑：当前 LLM 的推理轨迹质量高得让他无法理解——即使模型已有初步 CoT 能力、即使做了数十亿次 rollout，他仍无法建立心智模型解释这些能力如何从 RL 训练中「涌现」。Barak Rotblat 坦言同样困惑：这些轨迹「好得离谱」，缺乏机制层面的解释。次日，前 OpenAI 研究者 Lukas Kaiser 给出一种解释方向。

已确认

• Goldberg 澄清立场：他质疑的不是一般意义上的推理如何产生，而是当前前沿模型展现的特定类型与水平的推理；他明确表示不认为这些能力是「涌现」。
• Goldberg 补充：现有公开技术栈大致能解释 DeepSeek R1 那一代模型「短而尚可」的推理，但从短推理到如今长而复杂的推理之间是什么填补了鸿沟，他完全无法解释。
• Goldberg 用类比说明自己的判断：问题更像「国际象棋大师的训练 routine 是什么」，而非「人脑如何下棋」——答案可能不在某种无人能懂的神秘潜在过程，而在具体的训练流程。
• Lukas Kaiser 回应称训练流程大体已知，关键在于海量合成数据：取大量模型推理轨迹，让另一个模型清理和总结（配合大量人工提示、领域知识和过滤），再用这些数据继续做 RL。
• 谈到 RL 泛化时，Kaiser 指出关键在于「哪里有足够多、足够多样的优质任务」，并认为 arXiv 上的引理任务或许可用于检验模型的推理泛化能力——即区分某任务上的强推理是针对性 RL 训练的结果还是真正的泛化。

尚未确认

• 推理能力究竟主要来自 RL 涌现还是大规模 SFT 标注，Goldberg 明确表示不确定，其猜测只是假设；他后续表态倾向于将其视为训练流程问题而非黑箱涌现。
• brianryhuang 的「零 SFT 纯 RL 即可实现超人类推理」是理论层面的主张，尚未被公开实证确认。
• Kaiser 描述的「清洗轨迹造合成数据再上 RL」流程是否足以解释前沿模型的推理水平，以及 arXiv 引理任务能否有效检验泛化，均仍属其个人说法。

为什么重要

• 这场讨论触及当前推理模型热潮中最核心的机制问题：模型为何会推理、能力来自何处，直接关系到训练配方、数据投入方向与可复现性。
• brianryhuang 的观点颇具代表性：人工精选样例上的 SFT 只是抬高 scaling 曲线截距的加分项而非必要条件，超人类推理理论上可零 SFT 实现。若成立，意味着 RL 路线的天花板与成本结构可能与主流认知不同。
• Kaiser 的说法则把讨论拉回工程现实：大规模合成推理数据加上清洗过滤管线，可能正是从 R1 式短推理跃迁到长而复杂推理的关键填充物；他提出的 arXiv 引理任务也为「泛化 vs 定向训练」提供了一个可操作的检验思路。

2026-09-25 ~ 2026-09-26 · 12 条相关

• 【源头】Yoav Goldberg:LLM 推理链强得反常,难以解释其如何从 RL 中涌现 — yoavgo · 2026-09-25
• Yoav Goldberg 困惑:如今 LLM 的超长推理链究竟如何涌现? — odedbendov · 2026-09-25
• 从 R1 到今天:短推理与长推理之间的能力鸿沟无人能解释 — yoavgo · 2026-09-25
• 【源头】进一步交锋:SFT 只抬基线,超人类推理理论上零 SFT 靠 RL 即可 — brianryhuang · 2026-09-25
• Barak Rotblat 发问：RL 训练凭什么「涌现」出如此好的 LLM 推理轨迹 — BarakRotblat · 2026-09-25
• Yoav Goldberg：当前前沿模型的推理能力并非「涌现」 — yoavgo · 2026-09-25
• Yoav Goldberg 困惑:顶级推理模型的思维链为何如此之好 — LabYosi · 2026-09-25
• Yoav Goldberg:前沿模型推理更像训练流程问题而非黑箱涌现 — yoavgo · 2026-09-25
• 【源头】Lukas Kaiser 揭秘:清洗模型推理轨迹造合成数据再上 RL — lukaszkaiser · 2026-09-26
• 前 OpenAI 研究员揭秘：推理模型训练靠海量思维链合成数据加 RL — yoavgo · 2026-09-26
• OpenAI 研究员谈 RL 泛化:arXiv 引理任务或能检验推理泛化能力 — lukaszkaiser · 2026-09-26

另有 1 条近重复转述:brianryhuang