开源推理工程指南:从 KV Cache 显存计算到 vLLM/SGLang 上线清单
udmrzn · x · 2026-11-12
一份面向平台工程师的开放教程《An Open Field Guide to Inference Engineering》(Modelplane, v0.7)，系统讲解大模型推理部署：
- 基础原理：模型如何在 GPU 上运行、KV Cache 显存估算、Prefill/Decode 性能瓶颈
- 工具栈：vLLM、SGLang 等推理框架的使用与优化
- 生产实践：推理服务优化、线上监控、Eval，并附完整上线检查清单
内容覆盖从入门到生产部署的完整路径，可当作系统的推理工程课程资料，文末还整理了社区延伸阅读（Viktor Farcic、Baseten、Pragmatic Engineer 等）。
「Infra」频道最新
- 曝马斯克押注 Terafab:单一工厂年产 1 太瓦硅芯片,为全球现有约 30 倍 — XFreeze · 2026-11-12
- IITM 教授将物理嵌入学习过程，大幅削减 AI 仿真算力成本 — ravi_iitm · 2026-11-12
- 按需提精度：小模型解码不确定时动态升级权重位数 — Mohammed Nayeem Khan · 2026-11-12
- MiniMax H3 图像模型被压进单张 32GB AMD 卡:4K 出图 33 秒 — evp-cloud · 2026-11-12
- 能源科技 2025 年吸金近 2000 亿美元，数据中心负荷考验电网接入 — ingliguori · 2026-11-12
- vLLM-Omni 首日支持 MiniMax H3-Image：4K 出图仅 0.87 秒 — vllm_project · 2026-11-12