3 周精读斯坦福 CS329A：生成器已跑赢验证器

James Le 花 3 周读完 Stanford Online 在 YouTube 公开的 2025 秋季课程 CS329A「Self-Improving AI Agents」，由 Azalia Mirhoseini（前 Google）与 Aakanksha Chowdhery 主讲，共九讲，并逐讲撰写长文复盘。这一系列笔记把当前 AI 能力格局的核心矛盾——生成器与验证器的差距——系统化了。

已确认

• 课程核心论点是生成器的能力已远远跑在验证器前面，这是贯穿全部九讲的线索。
• DeepSeek-Coder-V2-Instruct 在 SWE-bench Lite 上单次采样仅解决 15.9% 的问题，采样 250 次后提升到 56%：测试套件能从 250 个候选中指出哪个是对的——验证器免费时，大量生成样本可以突破单次验证能力，生成-验证不对称愈发明显。
• DeepSeekMath-V2 的做法是把验证从约束变成产品：先训练验证器，再随生成器进步持续扩展验证算力，让验证始终领先一步；但这条路在数学之外是否成立，作者坦言无人知晓。
• 过程奖励模型给每个推理步骤打分，训练一个曾需要 800,000 条人类标注；Math-Shepherd 用 rollout 替代标注者——一步好不好取决于模型能否从这一步仍到达正确答案，GSM8K 升至 84.1%。
• 第 4 讲被概括为一个「更弱信号的阶梯」：环境回答（ReAct）、测试套件回答（RLEF）、成文文档回答（Constitutional AI）；循环结构从不改变，但每一级信号获取更便宜、行动时也更模糊。
• 作者转述 DeepSeekMath 自己的测量结果，指出「可验证奖励的 RL 能教会模型新能力」这一说法受到的最强质疑：RL 提升 Maj@K（多数投票正确率）但不提升 Pass@K（采样中至少一次正确率）。
• AI 能力测量正分裂为两条线：METR 评测显示 o3 的 50% 时间视界约相当于 110 分钟人类工作量，大约每 7 个月翻倍；而在 DeepScholar 类文献综述评测中，没有一个系统超过 31% 的得分。

为什么重要

• 若生成持续跑赢验证，研究重心将转向「如何扩展验证算力」，验证器可能成为新的竞争焦点与产品形态。
• RLVR 提升 Maj@K 而非 Pass@K 的数据提示：RL 可能在改进已有能力的可靠性而非创造新能力，这直接影响对 RLVR 路线的预期。
• 时间视界翻倍的长程任务叙事与具体任务（如文献综述）的低得分并存，说明单一基准已不足以描述 AI 能力，评测体系本身正在分化。

2026-09-16 ~ 2026-09-16 · 9 条相关

• 【源头】斯坦福 CS329A 开课：自我改进 AI Agent 的 9 讲课程 — le_james94 · 2026-09-16
• 【源头】生成器远超验证器：DeepSeek-Coder 抽样 250 次解 56% 的启示 — le_james94 · 2026-09-16
• SWE-bench 实测：250 次采样让 DeepSeek-Coder 通过率 15.9% 升至 56% — le_james94 · 2026-09-16
• Math-Shepherd 用 rollout 替代 80 万人标注,GSM8K 升至 84.1% — le_james94 · 2026-09-16
• 从 ReAct 到 Constitutional AI:反馈信号越便宜越模糊的阶梯 — le_james94 · 2026-09-16
• RLVR 不教新能力?DeepSeekMath 数据:RL 提升 Maj@K 不提升 Pass@K — le_james94 · 2026-09-16
• o3 时间视界约 110 分钟,但写文献综述无一系统超 31% 分 — le_james94 · 2026-09-16
• DeepSeekMath-V2 把验证做成产品:验证算力随生成器一起扩展 — le_james94 · 2026-09-16
• 【源头】3 周精读斯坦福 CS329A 九讲：生成器已跑赢验证器 — le_james94 · 2026-09-16