作者 fork vLLM 打补丁，实测提升 Gemma 4 31B 推理速度
metalvendetta · reddit · 2026-09-20
Reddit 用户分享了自己优化 Gemma 4 31B tokens/s 的完整过程：优化推理速度需要真正理解模型架构，作者为此 fork 了 vLLM 并自己写补丁，才让自定义配置按设想生效。他把整个过程写成一篇面向新手的长文，作为做 TPS 优化时的思维模型，适用于任何模型。
作者强调，做推理优化不能只当「机器人驾驶员」式的调参用户，必须深入代码库和架构层面才能找到解法。
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04