GainReason:按每句推理对目标预测的增益来奖励推理链
_reachsumit · x · 2026-11-18
arXiv 论文(2611.21441)针对推理增强的生成式推荐提出 GainReason 训练框架:
- 现有方法用 GRPO 按最终推荐结果给规则奖励,存在两点缺陷:单个推理步骤的预测贡献未被度量、组内不同推理轨迹奖励难以区分;
- 提出 Predictive Gain(PG):以每句推理对目标 Semantic ID 对数似然的改变量来度量其贡献,形成有区分度的句子级奖励;
- 理论上证明期望 PG 与推荐排序目标一致,并据此构建 PGRO 优化推理生成。
「研究」频道最新
- 加州 AI Amplitudes 学校与研讨会 2026 年 11 月办,聚焦 AI 用于散射振幅 — KyleCranmer · 2026-11-18
- UCLA 举办 AI Amplitudes 研讨班:用机器学习攻量子散射振幅 — KyleCranmer · 2026-11-18
- 循环层复用难救多模态嵌入,预训练加循环才涨 4.23 分 — _reachsumit · 2026-11-18
- 蚂蚁 Repo-Premium 基准:公平评测下 BM25 可追平稠密检索 — _reachsumit · 2026-11-18
- 快手提出 GBPO:诊断 GRPO 三大缺陷,生成式推荐训练更稳 — _reachsumit · 2026-11-18
- 免训练检索方法 IN-Retriever:用注意力信号导航多跳查询 — _reachsumit · 2026-11-18