Inherit4Rec:让推荐模型继承参数扩容或转稀疏专家,免从头重训
_reachsumit · x · 2026-09-22
论文提出 Inherit4Rec,一个参数继承框架,让工业推荐模型高效扩容。
- 痛点:工业推荐系统靠加大模型容量突破性能瓶颈,但反复从头训练大稠密模型成本高,且推理开销与线上服务预算冲突。
- 双路径设计:Dense-to-Dense(D2D)通过混合扩容加非对称训练,在扩容时保持前向函数与更新连续性;Dense-to-Sparse(D2S)用共激活感知划分加负载均衡损失构建 SMoE 网络,转稀疏的同时保持稠密模型能力。
- 效果:在 KuaiRand-1K 与工业短视频推荐数据集上,两种转换在所有预测目标上均一致超越对比的继承基线。
「研究」频道最新
- 斯坦福把论文变成 AI Agent,两个 Agent 跨论文挖出 ADHD 新基因关联 — VraserX · 2026-09-22
- 蚂蚁开源 Code2Skill：从 1.9 万个仓库挖出百万张技能卡喂给 Agent — aigclink · 2026-09-22
- 小米 MiMo 2.6 Pro 协助完成李-约克定理 Lean 形式化，超 6000 行代码 — bookwormengr · 2026-09-22
- 首个古希腊语大模型 Apollo 诞生,专修残破莎草纸文献 — nordicinst · 2026-09-22
- Two Minute Papers 解读 Jev：宣称让 AI 提速 200 倍但有代价 — Two Minute Papers · 2026-09-22
- 新 LLM 填补古希腊纸草残片缺文,助解码古代生活 — Wired AI · 2026-09-22