Evolving Infra 对比 NVIDIA Dynamo:延迟降至 1/4.1、P95 TTFT 降 14 倍
YouJiacheng · x · 2026-11-17
MIT、Georgia Tech、UIUC、UC Berkeley、NVIDIA、OpenAI 等机构联合推出 Evolving Infra,一个面向 agent 工作负载的开源自适应推理框架,已发布技术报告与代码(mit-han-lab/EvolvingInfra)。
核心思路:
- 抛弃固定 PD 分离:将算力分配与 KV cache 管理解耦,节点可在线在 prefill/decode 间切换,KV 对所有节点可读;
- 在线 planner:用在线拟合的迭代时间模型捕捉模型、硬件与 agent 负载(含 KV 复用),无需离线 profiling 即可在 prefill/decode 间调度节点;
- KV 复用感知的驱逐与路由:优先保留 agent 会复用的 KV,并均衡各节点 prefill 负载。
实测在真实 agent 负载(Computer Use、编码、数学 agent,模型含 GLM-5.2 与 Kimi K2.6)上,最多 256 张 GB300 GPU 对比 NVIDIA Dynamo:平均端到端延迟最高降 4.1×,P95 TTFT 最高降 14×,按模型定价折算单位收入最高提升 2.36×。demo 显示 36 张 GB300 上跑 126 个并发 Claude Code agent 一小时的成绩对比。
「Infra」频道最新
- OpenRouter 数据:开源模型企业 token 份额 5 个月从近零涨到 30% — pwendell · 2026-11-17
- Datology 称仅靠数据策展即达成 6 倍算力等效,12B 胜 30B — pratyushmaini · 2026-11-17
- Together AI 给出闭源转开源模型的五步迁移法 — togethercompute · 2026-11-17
- TP=1 与 TP=2 下模型初始化为何结果不同:RNG 难题实例 — ezyang · 2026-11-17
- 估值仅 1/28,Bittensor 子网 Engy 推理量反超 Venice 登全球第二 — markjeffrey · 2026-11-17
- Fractile 融资 7.2 亿美元造 AI 推理芯片,押注推理成本决定 AI 经济学 — YvesMulkers · 2026-11-17