Meta 工程师拆解大规模分布式推理:推理需要自己的控制平面

AI Engineer · youtube · 2026-09-19

Meta 工程师 Nishant Gupta 与 Naman Ahuja 在 AI Engineer 演讲中系统讲解 Meta 大规模推理系统的运维经验。核心观点:

Meta 推理流量已超过全球最大微服务规模,是其史上增长最快的工作负载;AI 正经历 2008 年云计算类似的演进,价值正向上移到编排层。
关键新问题是「耦合」:路由决策改变缓存命中率→改变批处理构成→改变 GPU 利用率→影响自动伸缩;一个请求如同分布式事务,任何一跳都可能重试、超时或失败,流式输出 200 token 后抢占 GPU 无法简单重试,可靠性必须放在能看到全局工作流的控制平面。
推理调度器需感知七个维度:GPU 代际、内存余量、KV cache 状态、权重是否热、租户优先级、延迟预算、工作流上下文(五步工作流失败在第三步会浪费前两步的消耗)。
所有优化归入四象限:缓存避免工作、批处理共享工作、路由转移工作(到更便宜模型/区域)、准入控制延迟工作;核心指标应是「每个成功任务的成本」而非每 token 成本。
结论:可观测性是控制回路的输入,推理需要在延迟/成本/吞吐三角中做权衡,如同虚拟机需要 Kubernetes,推理需要自己的控制平面。

「Infra」频道最新