Netflix谈LLM生产化栈
krishnan · x · 2026-07-19
Netflix 的工程文章强调，AI 的“护城河”不在模型发布，而在把 LLM 当生产基础设施来运营。 文中提到，Netflix 在自有生产环境里运行完整的 LLM serving 栈：上层用 **vLLM** 作为主要推理引擎，底层是 **NVIDIA Triton**，再配合 **Java 控制面**做部署与发布管理，并统一监控、多区域升级和请求约束解码。 作者特别指出 **constrained decoding** 的价值：系统不是等模型输出错误后再清洗，而是在生成阶段就根据请求状态屏蔽非法 token，让结果“按构造正确”。代价则是更高的延迟、CPU 协调和批处理复杂度。 这篇文章的核心判断是：企业 AI 的长期优势，来自能否把工作负载在实时/批处理之间路由、衡量 token 吞吐与 KV cache、无损发布模型变更，并在坏输出进入流程前就把约束加进去。