InferenceBench 实测:agent 优化推理服务仍不敌简单超参搜索

maksym_andr · x · 2026-11-13

InferenceBench 是测试前沿编码 agent 能否在固定算力预算下优化 LLM 推理服务的 benchmark,公布了对新一批模型(Fable 5.2、Sonnet 5.5、Haiku 5.5)的结果。

主要发现

在全部四个场景(预填充延迟、解码延迟、吞吐、综合)中,agent 超过 vanilla PyTorch 基线和多数默认配置的推理引擎(如 vLLM、SGLang、TGI)。
但除最新的 Claude Opus 5.5 (Max) 和 Sonnet 5.5 (Max) 外,agent 在相同时间预算下仍不如对现有引擎做简单超参搜索。
Fable 5.2 表现与 Fable 5.1 持平,未超越前代 Anthropic 模型,作者认为可能与 AI R&D 能力被 nerf 有关。

评测方式:每次运行给 agent 一个基础模型、硬件环境和两小时时限,产出 OpenAI 兼容的推理服务;按某个瓶颈场景或综合场景的加速比打分。最终提交须通过正确性检查和针对 reward hacking 的完整性审计,失败则按 PyTorch 基线计分。

「模型」频道最新