CMU 推出 ServerBench:编码 Agent 设计的推理系统达 vLLM 4.87 倍性价比
omarsar0 · x · 2026-11-05
CMU 与 USC 团队发布 ServerBench 基准(arXiv:2611.06841),让编码 Agent 从零设计专用的 LLM 推理服务系统。
- 评测方式:目标函数为 "dollars per dollar"——每 GPU 美元买到的、经延迟合格化的 token 价值;用带会话依赖回放的真实编码会话测量,并有独立验证器检查提交系统是否真正可用。
- 核心结果:在 11 个编码 Agent 模型、3 种部署配置共 33 次运行中,22 次产出经验证的系统,13 次超过最强基线。Claude Sonnet 5.5 为 Gemma E4B 搭建的服务系统达到 vLLM 参考实现 4.87 倍的每美元价值(1×L40);Qwen3.5 9B(2×L40)上达 2.7 倍,成本约 97 美元/次,GPT 6.1 Sol 则以更低成本取得 1.82.6 倍增益。
- 三点发现:高分设计会同时提升容量并按容量匹配负载;Agent 通过与工作负载相关的实验来解读性能反馈;可靠交付需要对优化引入的新执行路径做验证——失败的运行往往是优化破坏了原本可行的路径。
代码与博客已开源。作者 omarsar0 评价: coding Agent 很快将能调优从 prompt 到 token 服务的整条技术栈。
「编程与Agent」频道最新
- 现评测太干净:研究者构建混乱真实工作任务模拟来考 AI — KLdivergence · 2026-11-05
- 评测为何失真:清晰指令只测指令遵循,恰是后训练最擅长的 — KLdivergence · 2026-11-05
- shadcn 作者：什么都塞进 Registry,录屏应用 Videorc 晒组件库实践 — shadcn · 2026-11-05
- 用 Jev 搭邮件自动退订流程：结合浏览器上下文，一周后收件箱空前干净 — threepointone · 2026-11-05
- 不用 LLM 监控 LLM：Olki 用类型系统为 Agent 行为分类 — bigdata · 2026-11-05
- Coda 公式语言十年学习曲线反成优势：确定性 Agent 记忆运行时 — bfrench · 2026-11-05