Meta广告推荐模型达LLM级规模，训练效率翻倍
Meta_Engineers · x · 2026-08-05
Meta 工程团队宣布，其驱动 Instagram 和 Facebook 广告的生成式推荐模型（GEM）已跨入 LLM 级别的训练规模，动用数千张最新一代 GPU。
由于标准 LLM 基础设施无法直接适配推荐系统负载，团队进行了深度底层定制：
- 定制算子：开发了 Jagged Flash Attention 等自定义内核，并采用包含 MXFP8 attention 在内的超低混合精度计算。
- 并行架构：针对自身网络拓扑结构，量身打造了拓扑感知的 5D 并行架构。
这些优化成效显著：在 12 个月内，不仅将总训练 FLOPs（浮点运算次数）提升了 4 倍，还将端到端的训练效率翻倍，达到了 20–25% 的 MFU（模型浮点运算利用率）。
所属事件:Meta广告推荐模型达LLM级规模且训练翻倍(3 条相关)→
「Infra」频道最新
- AMD 宣称 Helios 架构性价比碾压英伟达 Vera Rubin — Beth_Kindig · 2026-08-05
- 日均烧 13 万美元？DeepSeek API 真实调用量揭秘 — teortaxesTex · 2026-08-05
- 美国 NSF 斥资 1 亿美元建设区域性 AI 基础设施中心 — mkratsios47 · 2026-08-05
- Chutes AI 全面启用 TEE 验证，8x RTX 5090 算力性价比超专业卡 — markjeffrey · 2026-08-05
- engyai 上线 OpenRouter 最廉价 Kimi K3 API，成本降半 — const_reborn · 2026-08-05
- LiquidAI 新模型实测：Mac 本地跑 128K 上下文解码达 82 tok/s — helloiamleonie · 2026-08-05