一文看懂 5 大 LLM 推理引擎：vLLM、SGLang、TensorRT-LLM 领衔
goyalshaliniuk · x · 2026-11-02
作者盘点了现代 AI 系统背后的 5 个推理引擎，说明「跑起一个 LLM」和「高效服务成千上万用户」是两回事，推理引擎决定了生成速度、硬件利用率、并发处理和服务成本。
- vLLM：高吞吐服务，靠 PagedAttention 和 continuous batching 管理请求，生产环境主流选择
- SGLang：快速高效服务，用 RadixAttention 和 prefix caching 复用共享上下文，适合 agentic 工作流、长 prompt 和结构化生成
- NVIDIA TensorRT-LLM：针对 NVIDIA GPU 优化，用优化 kernel 和量化榨取最大性能
- llama.cpp：跨 CPU/GPU/Apple Silicon 运行，支持 GGUF 量化，适合本地和边缘设备
- MLX / mlx-lm：苹果官方框架，针对 Apple Silicon 统一内存优化，适合 Mac 本地实验
选型建议：GPU 服务选 vLLM、agentic 工作流选 SGLang、NVIDIA 极致性能选 TensorRT-LLM、本地跨平台选 llama.cpp、Mac 选 MLX。
所属事件:五大 LLM 推理引擎盘点：vLLM 与 SGLang 领衔(3 条相关)→
「Infra」频道最新
- Pika H3 Flex 不改权重提速 60%,登顶 DesignArena 文生视频榜 — ghumare64 · 2026-11-02
- 博主预测:一年内 Opus 5.5 级模型算力成本将大幅下降 — teortaxesTex · 2026-11-02
- 谷歌高管：太空数据中心成本是地面 100 倍，许可审批才是真瓶颈 — draecomino · 2026-11-02
- PipeDream 首个收敛理论出炉，团队配套视频讲解流水线并行 — peter_richtarik · 2026-11-02
- Modal CEO 访谈：谁赢推理市场、开源推理见顶与 RL 后训练极限 — 20VC · 2026-11-02
- Blackwell 液冷服务器报价 1600 万元,四个月价格涨三倍 — teortaxesTex · 2026-11-02