MIT Han Lab 等发布 Agent 自适应推理框架，延迟较 NVIDIA Dynamo 降 4.1 倍
mit-han-lab · hf · 2026-11-12
MIT Han Lab 联合 Georgia Tech、UIUC、UC Berkeley、NVIDIA、OpenAI 等发布 Evolving Infra，一个面向 Agent 负载的自适应 LLM 推理服务框架，代码已开源。
- 问题：Agentic 工作流已成 LLM 推理需求的主要来源，但现有 prefill–decode（PD）分离式服务系统计算分配僵硬、KV cache 管理粗放，导致 prefill/decode 节点负载不均，且 Agent 会复用的 KV cache 被错误驱逐。
- 方法：将计算分配与 KV cache 管理解耦，节点可在 prefill 与 decode 间高效切换；在线规划器根据工作负载组成动态匹配 PD 比例；Agent 感知的分布式 KV 管理器利用 Agent 上下文管理信号指导缓存驱逐与迁移。
- 结果：在编码、数学、computer-use 任务上，使用 GLM-5.2 与 Kimi K2.6，在最多 256 块 GB300 GPU 上测试，平均端到端延迟较 NVIDIA 生产级框架 Dynamo 降低至多 4.1 倍，P95 TTFT 降低至多 14 倍（Claude Code 90 并发 Agent 场景）。
- 开源地址：github.com/mit-han-lab/EvolvingInfra
「Infra」频道最新
- TinyTapeout 揭秘芯片出厂前如何做工厂测试与数据更新 — Obijuan_cube · 2026-11-12
- 特斯拉去年部署 46.7 GWh 储能电池，占全球新增总量超 15% — XFreeze · 2026-11-12
- 开源量化方案 KQuant 让 Qwen 系列 MLX 量化最高逼近 3.7 倍 — m4rkGS · 2026-11-12
- 百度昆仑芯 M100 如期出货，M300 定于 2027 年发布 — Baidu_Inc · 2026-11-12
- Latent Sparse Attention 用聚类索引 KV，比全注意力快 70 倍 — bendee983 · 2026-11-12
- e-means 聚类算法提速 10-45 倍，1.4 个 epoch 就击败 k-means — pmttyji · 2026-11-12