HERO 双教师蒸馏降低推荐热门偏差，已上线抖音猜你喜欢
_reachsumit · x · 2026-11-04
论文提出 HERO,一个多样性感知的 on-policy 蒸馏(OPD)框架，用于生成式推荐，并已在"猜你喜欢"模块上线。
- 问题：OPD 虽提供更密集的监督，但会加剧热门偏差——教师反馈偏爱热门商品 token,学生 rollout 也少生成冷门商品路径，两源偏差互相强化
- 方法：训练专攻热门和冷门商品的两个异构教师，按样本真值商品的热门程度路由；多样性感知 rollout 把冷门商品的真值 SID 纳入训练，覆盖学生罕见生成的路径；推理时只用学生
- 验证：在一个工业数据集和三个公开数据集上验证了有效性、多样性与鲁棒性
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04