作者 fork vLLM 打补丁，实测提升 Gemma 4 31B 推理速度
metalvendetta · reddit · 2026-09-20
Reddit 用户分享了自己优化 Gemma 4 31B tokens/s 的完整过程：优化推理速度需要真正理解模型架构，作者为此 fork 了 vLLM 并自己写补丁，才让自定义配置按设想生效。他把整个过程写成一篇面向新手的长文，作为做 TPS 优化时的思维模型，适用于任何模型。
作者强调，做推理优化不能只当「机器人驾驶员」式的调参用户，必须深入代码库和架构层面才能找到解法。
「Infra」频道最新
- GPU 编程学习日志:精读 CUDA matmul 优化经典与 MIT 稀疏性课程 — NandoDF · 2026-09-20
- Jev 式并行结构化推理让 350M 小模型快 63 倍，代码已开源 — helloiamleonie · 2026-09-20
- 开发者用 Jev 搭建 SLO 感知 LLM 推理路由,按质量延迟成本选模型 — ai · 2026-09-20
- 忆阻器网络研究:让材料本身成为模型,自学重组计算 — bravo_abad · 2026-09-20
- Crusoe 与 Perplexity 签多年云协议,供其专用 Nvidia GB300 集群 — Beth_Kindig · 2026-09-20
- 整站 arXiv 搬上 Hugging Face:314 万篇论文 16TB 全格式 — secemp9 · 2026-09-20