AI 工程师必看：LLM 推理部署与优化 10 周实战路线图

_jaydeepkarale · x · 2026-08-03

推文总结了 AI 工程师在部署大模型推理服务时必须掌握的核心技术，包括理解 decode 的内存瓶颈、部署 vLLM/SGLang 并阅读其调度器代码、掌握 Paged Attention、连续批处理和量化权衡等。

配套的开源项目 time-to-first-token 提供了一份为期 10 周、每天 30 分钟的实战路线图。该计划包含 50 个独立模块，目标是引导开发者从零构建一个兼容 OpenAI 接口的推理服务，并在租用的 GPU 上完成可观测性搭建、压力测试、量化与投机解码优化，最终发布可复现的性能基准。