DigitalOcean 实测:+4% 推理提速只是运行噪声

AI Engineer · youtube · 2026-11-12

DigitalOcean 的 Rohan Pandey 与 Balaji Varadarajan 在 AI Engineer Code Summit 分享了其在 AMD MI355 推理服务器上运行的优化 agent:该 agent 会提出 vLLM 与 Kubernetes 配置方案,滚动上线并在真实延迟目标下测量吞吐,保留胜出配置或安全回滚。

关键发现:许多 LLM 推理优化的"胜利"只是调高单一参数,在生产硬件上与用户实际体验关系不大;四项研究显示,一个 +4% 的"赢家"配置实际上是运行间噪声。团队正将该 agent 扩展到 prefill/decode 分离式服务架构。