Salakhutdinov 团队提出 TailRL：让 RL 看重尾高奖励样本而非只追均值
burny_tech · x · 2026-09-07
Ruslan Salakhutdinov 等人发布新论文 Tail-Likelihood Reinforcement Learning（TailRL），试图回答一个根本问题：RL 是否在优化正确的目标？
- 动机：标准 RL 只优化平均奖励，策略分布往往坍缩成一个尖峰，稀有但高奖励的 rollout 的概率质量被耗尽；而在推理时增加采样能否受益，恰恰取决于策略是否保留了对高奖励结果的覆盖。
- 方法：TailRL 把连续奖励转化为「超过随机选定的奖励阈值」的一系列二元成功事件，最大化超越阈值的对数概率期望，从而在追均值的同时最大化高奖励输出的覆盖；其梯度天然给稀有高奖励样本更大权重，可解释为 Best-of-k 梯度的混合。
- 工程友好：只需对 advantage 函数做简单修改即可接入现有 RL 流水线。
- 实验：在物体定位、迷宫导航、GUI grounding、代码优化四类任务上，TailRL 能有效利用稀有高奖励样本，且随推理时采样量增加扩展性更好。
论文：arXiv 2609.02987，作者含 Andrea Zanette、Aarti Singh、J. Andrew Bagnell 等。
所属事件:CMU 团队提出 TailRL:让强化学习重视奖励尾部(4 条相关)→
「研究」频道最新
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- 浏览器助手 Ito 读懂浏览意图，自动把标签页编排成 Flows — andrewkuznet · 2026-10-26
- 康奈尔研究称大脑按线性序列处理语言,挑战乔姆斯基层级语法;印度语言成反例讨论点 — anirbanbandyo · 2026-10-26
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- Ortet 首次健康评测：34 个开源模型跑 50 项任务，综合排名不够用 — elmanmansimov · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26