Netflix分享LLM内部部署经验：解决内存驱逐与批处理瓶颈
rseroter · x · 2026-07-22
Netflix 分享了他们在内部部署和推理大语言模型（LLM）时的工程经验。
随着模型规模扩大，系统会暴露出许多难以预料的瓶颈。Netflix 重点介绍了他们在处理内存驱逐以及批处理过程中遇到的 CPU 密集型问题时总结的架构教训。
「Infra」频道最新
- vLLM 考虑将更多栈迁往 Rust，推理引擎 Rust 化成趋势 — AccBalanced · 2026-10-27
- Anthropic S-1：未来拟投超 5000 亿美元算力，自建数据中心 — jeremyakahn · 2026-10-27
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- Anthropic S-1 披露：CSP 渠道收入占比三年从 11% 涨至 48% — AccBalanced · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27