研究发现 RL 后训练隐性代价:生成式推荐器排序更强、召回更差
_reachsumit · x · 2026-11-18
论文揭示生成式推荐器 SFT 后再做 RL 后训练的隐性代价:在全部五个研究数据集上,RL 提升头部结果精度(小 K 的 hit@K),却降低候选列表召回(数百 K 的 hit@K)——模型变成更好的排序器、更差的检索器。这对部署很关键,因为线上模型要向下游排序器/奖励模型交付数百个候选。
根因分析
- 每个用户日志里只记录一个「下一个 item」,RL 便把采样到的其他所有候选都当作错误答案施加负优势
- 这些被惩罚的恰是模型最合理的替代项,往往也是相似历史用户真正的下一个 item;惩罚它们导致这些 item 从相似用户的候选列表中消失
补救方案
- 提出 out-of-rollout anchoring:仅增加一个损失项,保持 SFT 模型对 rollout 之外 item 的排序,即可保住头部收益同时避免召回损失
「研究」频道最新
- TCS 学界发布声明:招聘重质量轻数量,抵制 AI 论文军备竞赛 — fortnow · 2026-11-18
- 论文提出语言创造性的社会文化视角:从社区实践看创意生成 — abenitezburraco · 2026-11-18
- 无需训练或梯度:27B 模型可自行改写权重提升 unseen 任务 — udmrzn · 2026-11-18
- 开源 EDA 工具十年逆袭:从「不可能」到设计出蓝牙信标芯片 — IgorCarron · 2026-11-18
- AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具 — Shuhan Li · 2026-11-18
- Orabona 撰文驳 AdaGrad 预条件化解释:全矩阵界限常不如标量学习率 — bremen79 · 2026-11-18