ThunderAgent 并入 LLM-D,Agent 推理吞吐翻倍、首 token 延迟从 50 秒降到秒级
simran_s_arora · x · 2026-11-04
程序感知的 agentic 推理系统 ThunderAgent 已合并进 LLM-D:在 Claude Code / Weka 真实多轮 agent 轨迹上,输出吞吐提升 1.5–2 倍,中位 TTFT 从约 50 秒降至 2–4 秒,可大幅降低 agent 服务成本。其核心思路是会话感知路由、KV-cache 亲和与逐 Pod 准入控制,以 KV 状态跟踪和 endpoint 亲和打分复用缓存。
其他进展:
- 已集成进 NVIDIA Dynamo 2.0,程序抽象成为一等调度单元
- 集成进 SkyRL 用于 agentic RL 训练,在 40 块 H100 上将 SWE Agent rollout 加速 3 倍
- 被接收为 ICML 2026 Spotlight(前 2.2%)
- MIT 协议开源,目前约 471 star
「编程与Agent」频道最新
- 开发者反思：让 AI agent 优化 Rust 代码为何比 Go 更难 — unixterminal · 2026-11-04
- 阿里 SPAR 销售智能体实测：20 万商家转化率提升 15.8% — ycombinator · 2026-11-04
- 2637 条提示词、125 亿 token:设计师公开 AI 建站全流程 — tomjohndesign · 2026-11-04
- DeepSeek 长文提出超级智能体架构：连续、高效、主动、持久四大特征 — LangChain · 2026-11-04
- Salesforce 700 人 AI 团队自发从 Cursor 转向 Claude Code — aakashgupta · 2026-11-04
- AI 录屏工具 Wrap 开放内测：Agent 依据操作日志自动剪辑 — therealdanvega · 2026-11-04