从 ReAct 到 Constitutional AI:反馈信号越便宜越模糊的阶梯
le_james94 · x · 2026-09-16
该推文(上下文为过程奖励模型与验证器讨论串)把第 4 讲概括为一个「更弱信号的阶梯」:环境回答(ReAct)、测试套件回答(RLEF)、成文文档回答(Constitutional AI)。循环结构从不改变,但每一级信号获取更便宜、行动时也更模糊。上一级还提到:过程奖励模型给每个推理步骤打分,训练一个曾需 80 万人标注;Math-Shepherd 用 rollout 替代标注者——一步好不好取决于模型能否从它仍到达正确答案,把 GSM8K 从 77.9% 提升到 84.1%。
所属事件:3 周精读斯坦福 CS329A：生成器已跑赢验证器(9 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Mistral Large 4 短提示词从零写出量子化学 SCF 求解器并自建 3D 可视化 — MistralAI · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02