Meta 把碎片闲置算力聚合成机会池,用两个弹性杠杆喂广告推荐
Meta_Engineers · x · 2026-10-29
Meta 工程团队详解其推理容量悖论的解法:全局算力紧张的同时,因峰值预留、区域资源配比和加速器类型错配,存在大量局部闲置算力。他们把这些碎片聚合成共享的「机会容量池」,通过两个弹性杠杆投入广告推荐:
- Rank More Ads (RMA):让排序阶段评估更多候选广告,需要 CPU 与加速器双重富余。
- Serve Better Models (SBM):提高路由到更强模型的请求比例,只消耗 RMA 用不掉的纯加速器富余。
由于该池是可抢占的,Meta 用物理与逻辑隔离、PID 控制的反馈回路,以及服务端/客户端毫秒级的价值感知负载削减(value-aware load shedding),保证基线服务的延迟与可靠性指标不受影响。文中附完整技术博客链接,是推理服务栈容量调度的一手工程复盘。
「Infra」频道最新
- 曝 Google 研发 Frozen v2 专用芯片,2028 年上线专为 Gemini 提效 — zacharynado · 2026-10-29
- 传新 MacBook Pro 搭 M5 Pro/Max：128GB 内存 16TB 存储助力本地跑大模型 — LearnWithBishal · 2026-10-29
- NanoGPT 速度跑纪录从 39.9 秒骤降至 6.7 秒，降幅超历年总和 — tatsu_hashimoto · 2026-10-29
- Cerebras 晶圆级芯片隐忧：介质面积约为 H100 的 57 倍，TDDB 失效风险或致快速贬值 — teortaxesTex · 2026-10-29
- Modular MAX 全量源码开放:编译器+运行时+硬件后端可商用免版税 — ryanshrout · 2026-10-29
- NVIDIA 开播 CUDA Rust 入门课程,面向 GPU 编程新方向 — NVIDIAAI · 2026-10-29