Meta 将广告推荐模型扩至 LLM 规模，训练效率翻倍
Meta_Engineers · x · 2026-08-05
Meta 官方工程团队发文介绍了其生成式广告推荐模型（GEM）的最新进展。为了支撑 Instagram 和 Facebook 上的广告业务，该模型已在数千张最新一代 GPU 上进行 LLM 规模的训练。
由于标准的大模型基础设施无法直接适配推荐系统的工作负载，Meta 团队进行了深度底层定制：
- 定制算子：开发了 Jagged Flash Attention 等定制内核。
- 混合精度：采用超低 MXFP8 精度优化。
- 并行架构：设计了感知网络拓扑的 5D 并行架构。
这些优化使得 Meta 在 12 个月内将总训练 FLOPs 扩大了 4 倍，同时将端到端训练效率（MFU）翻倍，提升至 20%–25%。
所属事件:Meta广告推荐模型达LLM级规模且训练翻倍(3 条相关)→
「Infra」频道最新
- 挑战 GPU 霸权：YC 新项目宣称推理芯片能效比提升 63 倍 — ycombinator · 2026-08-05
- Kimi K3 专属加速：DSpark 推测解码方案已开源 — ying11231 · 2026-08-05
- 传美国拟禁中国数据中心组件，欧洲借机推进算力主权 — nordicinst · 2026-08-05
- Cursor 发布 MoE 训练 megakernel，宣称算力近乎翻倍 — CapnHat · 2026-08-05
- NVIDIA 教程：在 Jetson 平台构建全本地自主 Agent — NVIDIA Developer · 2026-08-05
- YC 新项目 Caution Hosting:为敏感 AI 负载提供安全托管 — ycombinator · 2026-08-05