百万并行环境训机器人:SGS 课程学习让 RL 随规模持续提升

ChongZzZhang · x · 2026-10-14

在讨论纯 RL 如何让机器人涌现行为的线程中，octizhang 介绍了 SGS（基于成功率的任务采样）方法：均匀采样下，增加并行环境往往无益——经验大多浪费在已掌握或远超当前能力的任务上。SGS 追踪每个任务配置的成功率，让策略更频繁地重置到「刚开始能解」的任务，实现扩展到百万并行环境时 RL 仍持续提升。

实践者 ChongZzZhang 评论称，有人觉得这在 idea 层面平淡无奇，但试过自适应课程学习（如简单的单调成功率调度或基于进度的方法）的人会惊讶于 SGS 的稳定性，尤其是它的权重曲线。