RL 研究者提醒:评测成本决定 RL 可承受的样本规模

RL 研究者 jessicata 指出强化学习训练中一个常被忽视的约束:评测本身的价格直接决定了 RL 能跑多大的样本量。有些能力可以低成本验证,例如判断 AI 是否以给定 cross-entropy 完成一次预训练。他还补充称,这一问题在元学习中尤为棘手——episode 本身就是一次「学习运行」,而学习运行又包含自己的 episode,形成递归嵌套,使验证与评测成本进一步失控。

2026-11-21 ~ 2026-11-21 · 2 条相关