InferenceBench 放榜:Claude Opus 5.5 摘冠,Gemini 4 Neon 超 GPT-6.2
maksym_andr · x · 2026-11-21
InferenceBench 是测试前沿 coding agent 能否在固定算力预算下优化 LLM 推理服务的 benchmark。每个场景给 agent 一个基础模型、硬件环境和两小时时限,产出 OpenAI 兼容的推理服务,按相对 PyTorch 基线的加速比打分,覆盖 Prefill 延迟、Decode 延迟、吞吐与综合四类瓶颈,最终提交须通过正确性检查与 reward-hacking 完整性审计。
排行榜上 Claude Opus 5.5 (Max) 以 12.08× 几何平均加速夺冠,Claude Sonnet 5.5 (Max) 以 12.06× 紧随其后,Gemini 4 Neon (High) 以 10.96× 排第三、略高于第四名 GPT-6.2 Astra (Ultra) 的 10.76×。
一个关键结论:虽然 agent 普遍跑赢 PyTorch 基线和多数默认配置的推理引擎(vLLM、SGLang、TGI),但除最新的 Claude Opus/Sonnet 5.5 (Max) 之外,其余都不敌对现有引擎超参数做简单搜索的结果。
「编程与Agent」频道最新
- Mnemos 2.0:给 Agent 留「给下一个自己的记忆」 — RileyRalmuto · 2026-11-21
- 27 年资深可靠性工程师总结 4 种提升多智能体系统可靠性的架构模式 — bibryam · 2026-11-21
- AutoCut + FrameAtlas 开源:让 Claude Code 编辑视频而不用反复读媒体库 — moheshmohan · 2026-11-21
- InfoQ 长文:Agent Harness 是什么,以及两种构建方法 — bibryam · 2026-11-21
- 算清隐性人工成本:Reddit 长文拆解 agent 工作流的真实人力账 — AlarmingPepper9193 · 2026-11-21
- 开发者用 Claude 打造实时语音+屏幕共享编程 agent,复刻钢铁侠 JARVIS — Different_Scholar_74 · 2026-11-21