CMU 团队提出 TailRL:让强化学习重视奖励尾部

CMU 等机构的 Ruslan Salakhutdinov 团队发布论文 Tail-Likelihood Reinforcement Learning(TailRL)。标准强化学习只优化平均奖励,会压制罕见但高质量的输出,而均值相近的策略在产出稀有高价值结果的概率上可能差异巨大。TailRL 改为最大化策略超过随机奖励阈值的对数概率,并借助 GUI 定位样本,节省约 256 倍计算。实验显示,即使初始策略覆盖极差(如导航任务中仅 1% 尾部样本),该方法依然有效。

2026-09-07 ~ 2026-09-08 · 4 条相关

• TailRL 优化奖励尾部概率,GUI 定位样本省 256 倍 — burny_tech · 2026-09-07
• Salakhutdinov 团队提出 TailRL：让 RL 看重尾高奖励样本而非只追均值 — burny_tech · 2026-09-07
• 新论文提出尾似然强化学习：均值奖励掩盖高价值输出概率差异 — burkov · 2026-09-07
• TailRL 论文:初始策略覆盖极差时强化学习仍有效,1% 尾部样本够用 — YouJiacheng · 2026-09-08