RL 推荐器曝光坍缩元凶找到:CF 奖励的条目均值项,去均值提升多样性 9.8 倍
_reachsumit · x · 2026-11-06
用协同过滤(CF)分数作为强化学习奖励训练 LLM 推荐器时会出现曝光坍缩:CF 模型本身给出的 top 推荐是多样的,但用其奖励优化后的 LLM 却集中在少数条目上。
- 归因:把每个分数分解为条目均值项(该条目跨用户历史的平均分)与残差项(当前用户的偏差),受控干预发现条目均值项是曝光坍缩的促成因素——它不依赖当前用户,是奖励被「hack」的部分
- 修正:逐条目去均值(centering)与逐条目标准化(standardization)两种奖励校正
- 效果:在两个数据集、两种标识方案上,不同用户排名第一的条目数最多提升 9.8 倍,排序精度相当;代码已开源
「研究」频道最新
- NEO-VLA:2B 原生 VLM 直吃原始像素,LIBERO 均值 95.3 胜 Qwen3-VL — liuziwei7 · 2026-11-06
- 无需训练仅 355 个权重实现四位数乘法,比 SOTA 少 4 万倍 — willdepue · 2026-11-06
- Burkov 提议:用海量权重文件预训练 Transformer,让它学会编辑模型权重 — burkov · 2026-11-06
- AI 研究者：后训练数据管线仍高度人工，自动化远未到来 — menhguin · 2026-11-06
- Anthropic 报告：AI 全面自动化科研或带来 15-16 倍产出，物理实验成瓶颈 — teortaxesTex · 2026-11-06
- Elastic AI 副总裁：把搜索看作测试时计算，延迟是可花的预算 — gaganghotra_ · 2026-11-06