关于N=1 RL与分组比较
willccbb · x · 2026-07-14
讨论的核心是：在 **agentic judges** 的场景里，为什么不该默认“单次前向传播”就能稳定估计 advantage。 作者认为，虽然某些方法在 **GLM-5.2** 上有效，但这未必说明完整机制就是这样；尤其当任务长度未知时，长度惩罚既要鼓励效率，又要避免给“提前退出”之类的作弊留后门。对方则表示自己对 **N=1 RL** 持谨慎态度，认为 **group-level comparisons** 往往更有用。