快手提出 GBPO:诊断 GRPO 三大缺陷,生成式推荐训练更稳
_reachsumit · x · 2026-11-18
快手团队的 arXiv 论文(2611.19742)研究生成式推荐模型中的强化学习:
- 通过统一的 logit-gradient 视角重审 GRPO 等比率类目标,指出三个问题:clipped surrogate 产生死梯度区域浪费样本、负优势更新的重要性比率无界导致少数负样本主导优化、比率控制对策略绝对置信度不敏感;
- 据此提出 Gradient-Bounded Policy Optimization(GBPO),用 stop-gradient 归一化实现梯度始终活跃、正负更新对称有界、按当前策略置信度显式加权;
- 在精度与其他 RL 方法相当的同时训练更稳定。
「研究」频道最新
- 加州 AI Amplitudes 学校与研讨会 2026 年 11 月办,聚焦 AI 用于散射振幅 — KyleCranmer · 2026-11-18
- UCLA 举办 AI Amplitudes 研讨班:用机器学习攻量子散射振幅 — KyleCranmer · 2026-11-18
- 循环层复用难救多模态嵌入,预训练加循环才涨 4.23 分 — _reachsumit · 2026-11-18
- 蚂蚁 Repo-Premium 基准:公平评测下 BM25 可追平稠密检索 — _reachsumit · 2026-11-18
- GainReason:按每句推理对目标预测的增益来奖励推理链 — _reachsumit · 2026-11-18
- 免训练检索方法 IN-Retriever:用注意力信号导航多跳查询 — _reachsumit · 2026-11-18