RL 训练从不做均匀采样:偏差来源与 RFCL 应对思路

KyleMorgenstein · x · 2026-11-19

Kyle Morgenstein 在讨论中回应:无论是否在 vanilla RL 中,训练都不做均匀采样,因为轨迹天然被状态分布和策略分布所偏置。如果使用过窄的 reset buffer,确实会以此方式给训练引入偏差,但可以借助 RFCL(reset-free curriculum learning 类方法)来扩展分布。对方此前的观点是:reset 状态的选择会偏置模型,但生成好的 reset 状态比调 reward 容易得多。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →