Evolving Infra 对比 NVIDIA Dynamo:延迟降至 1/4.1、P95 TTFT 降 14 倍

YouJiacheng · x · 2026-11-17

MIT、Georgia Tech、UIUC、UC Berkeley、NVIDIA、OpenAI 等机构联合推出 Evolving Infra,一个面向 agent 工作负载的开源自适应推理框架,已发布技术报告与代码(mit-han-lab/EvolvingInfra)。

核心思路:

实测在真实 agent 负载(Computer Use、编码、数学 agent,模型含 GLM-5.2 与 Kimi K2.6)上,最多 256 张 GB300 GPU 对比 NVIDIA Dynamo:平均端到端延迟最高降 4.1×,P95 TTFT 最高降 14×,按模型定价折算单位收入最高提升 2.36×。demo 显示 36 张 GB300 上跑 126 个并发 Claude Code agent 一小时的成绩对比。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →