Meta 的 Mosaic 用专家舰队做用户嵌入
_reachsumit · x · 2026-07-28
Meta 提出 Mosaic，把用户建模从“一个共享用户编码器”改成“一个专家舰队”。
- 这个舰队包含四类结构不同的专家：记忆型、稠密型、序列型 和 CoTrain 模型。
- 论文提出 MRM 和 CRL 两种方法，目标是最大化每增加一个专家所带来的边际信息量。
- 还引入 CoEval 和 User Tower Zero-Out，作为一种无需日志的 embedding 评估框架，用来提升开发速度，同时保持与下游效果对齐。
- Serving 方面采用 CPU/GPU 混合、在线/离线并行的栈，按新鲜度、延迟和计算成本选择不同服务方式。
作者称 Mosaic 在离线指标上稳定提升，并带来在线收益。
「研究」频道最新
- Retriever 框架：解决机器人异步闭环编程难题 — ZeYanjie · 2026-08-24
- 高斯混合模型与指数族密度逼近转换 — FrnkNlsn · 2026-08-24
- Netflix 揭秘 LLM Judge 生产实践：每周评估数十万条推荐解释 — omarsar0 · 2026-08-24
- Nature 评论：数据溯源是自主科学的信任基石 — gabepgomes · 2026-08-24
- 新架构 RHEA：8GB 显存即可训练 10 亿参数模型 — zemondza · 2026-08-24
- 跳过 LLM 写代码老套路：自训 16M 参数模型做生成式 CAD — debreuil · 2026-08-24