TailRL 优化奖励尾部概率,GUI 定位样本省 256 倍
burny_tech · x · 2026-09-07
CMU 等机构研究者提出 Tail-Likelihood RL(TailRL),针对标准 RL 只优化平均奖励、会压制罕见但高质量输出的缺陷,改为最大化策略超过随机奖励阈值的对数概率,让梯度更侧重稀有高奖励 rollout,可解释为跨所有 k 的 Best-of-k 梯度混合。
- 只需简单修改优势函数,可兼容现有 RL 训练管线
- 在物体定位、迷宫导航、GUI grounding、代码优化等任务上,帮助模型保留探索、避免次优解,并更好地从推理时增加采样中获益
- GUI grounding 上样本需求最多减少 256 倍,代码优化的 Best-of-1024 场景提速 7.7 倍
- 代码开源于 Zanette-Labs/TailRL
所属事件:CMU 团队提出 TailRL:让强化学习重视奖励尾部(4 条相关)→
「研究」频道最新
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- Goodfire 投入 1000 万美元启动 AI 版「人类基因组计划」破解可解释性 — CatAstro_Piyush · 2026-10-27
- π0.5 实验：演示数从 10 增至 438，放球入碗成功率 7%→83% — stingning · 2026-10-27
- HandsOn 灵巧操作平台开源:1.8 万人类演示数据集全公开 — stingning · 2026-10-27