RePPO:训练 PPO 策略种群,让每个 RL 智能体走出自己的解法
TZahavy · x · 2026-11-17
研究者发布新工作 RePPO:训练一个 PPO 策略种群(population),每个策略都能完成任务但方式各异,探索同一个任务的其他可能解法。
- 核心机制:在任务奖励基础上加入行为空间中的「排斥项」(配图展示在 behavior space 中用 r + pₖᵀm 构造每个策略的奖励,把策略彼此推开,训练后分布在不同的高回报区域)。
- 应用范围覆盖从 locomotion(机器人运动控制)到 LLM 微调。
- 作者称部分策略的表现甚至超过标准 PPO。
「研究」频道最新
- 开源 PentestBench 发布:17 款应用 761 个漏洞实测各模型渗透能力 — hunarbatra · 2026-11-17
- 研究:LLM 审稿 62% 意见挑附录细节,人类仅 8.4% — joshgans · 2026-11-17
- 学者警示:Pangram 检测审计存在争议,学界多有误读 — JessicaHullman · 2026-11-17
- Cohere Labs 资助的 FeatureGraph:标准化时序数据分析流水线 — Cohere_Labs · 2026-11-17
- 同模型换个 harness 成本差 5 倍,HF 工程师 AI Dev 办工作坊 — DeepLearningAI · 2026-11-17
- Scale AI 用亚任务级标注提升机器人策略,1个任务切11段标注 — yacinelearning · 2026-11-17