LLM推理提速实操：以31B模型为例讲透TPS优化

abhijithneil · x · 2026-09-22

一篇讲解如何自托管 LLM 并提升推理速度（TPS，Tokens per Second）的教程。作者指出 2026 年的推理工程仍没有一套普适的最佳实践：各框架还在适配不同模型架构，做好这一步需要同时懂 GPU kernel、模型配置、架构与 ML 理论。

作者以一个 31B 参数的 Gemma 4 模型为例，演示如何实测与优化生成速度（例如对「什么是机器学习」这类问题的 500 词回答能多快生成完），覆盖部署与推理优化的核心环节。适合想入门推理工程的工程师阅读。