Meta 的 Mosaic 用专家舰队做用户嵌入
_reachsumit · x · 2026-07-28
Meta 提出 Mosaic，把用户建模从“一个共享用户编码器”改成“一个专家舰队”。
- 这个舰队包含四类结构不同的专家：记忆型、稠密型、序列型 和 CoTrain 模型。
- 论文提出 MRM 和 CRL 两种方法，目标是最大化每增加一个专家所带来的边际信息量。
- 还引入 CoEval 和 User Tower Zero-Out，作为一种无需日志的 embedding 评估框架，用来提升开发速度，同时保持与下游效果对齐。
- Serving 方面采用 CPU/GPU 混合、在线/离线并行的栈，按新鲜度、延迟和计算成本选择不同服务方式。
作者称 Mosaic 在离线指标上稳定提升，并带来在线收益。
「研究」频道最新
- Goodfire 创始人挑战叠加假说：InceptionV1 多语义性或另有成因 — petrusenko_max · 2026-10-16
- UPenn 实验：让 Claude 批判自己默认想法,研究灵感产出提升最多 — arjunrajlab · 2026-10-16
- 实测 11 种提示策略催 LLM 创意：直接要「非显而易见」的点子最有效 — arjunrajlab · 2026-10-16
- 研究者长期实验：什么样的提示词能让 LLM 产出最有意思的点子？ — arjunrajlab · 2026-10-16
- SimpleMark 论文:多比特文本水印可将每 token 失真限制在预算内 — rishabh16_ · 2026-10-16
- 斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力 — HirokatuKataoka · 2026-10-16