云推理和本地 vLLM 基准差异？
No_Cardiologist7609 · reddit · 2026-07-14
作者在问：**云端推理平台和本地跑 vLLM 时，基准结果为什么会不同**，尤其是在 greedy decoding 场景下，是否有论文或论坛讨论这件事。 这条帖子的核心是想找证据分析不同推理栈之间的 benchmark 偏差来源： - 云推理平台与本地 vLLM 的实现差异 - 解码策略、调度、batching、服务端优化带来的结果偏移 - 是否存在专门比较两者 benchmark 差异的资料 它本质上是在寻求一类关于推理部署与测评口径的技术资料，而不是单纯问某个模型好不好。