InferenceBench 放榜:Claude Opus 5.5 摘冠,Gemini 4 Neon 超 GPT-6.2

maksym_andr · x · 2026-11-21

InferenceBench 是测试前沿 coding agent 能否在固定算力预算下优化 LLM 推理服务的 benchmark。每个场景给 agent 一个基础模型、硬件环境和两小时时限,产出 OpenAI 兼容的推理服务,按相对 PyTorch 基线的加速比打分,覆盖 Prefill 延迟、Decode 延迟、吞吐与综合四类瓶颈,最终提交须通过正确性检查与 reward-hacking 完整性审计。

排行榜上 Claude Opus 5.5 (Max) 以 12.08× 几何平均加速夺冠,Claude Sonnet 5.5 (Max) 以 12.06× 紧随其后,Gemini 4 Neon (High) 以 10.96× 排第三、略高于第四名 GPT-6.2 Astra (Ultra) 的 10.76×。

一个关键结论:虽然 agent 普遍跑赢 PyTorch 基线和多数默认配置的推理引擎(vLLM、SGLang、TGI),但除最新的 Claude Opus/Sonnet 5.5 (Max) 之外,其余都不敌对现有引擎超参数做简单搜索的结果。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →