Agentic API:在 vLLM 前加有状态层,把编排从客户端搬进服务端
techNmak · x · 2026-09-03
Agentic API 是一个位于 vLLM 之前的有状态 API 层,把原始推理服务升级为接近 Agent 运行时的形态。
核心思路
- vLLM 擅长高效出 token,但 Agent 还需要会话状态、工具调用循环、跨轮续跑、流式输出与持久化;Agentic API 把这些编排逻辑从客户端搬到服务端。
- 客户端可用 previousresponseid 续接会话,无需重建并重发完整对话状态,由网关恢复会话并继续运行循环。
工具执行分层
- 网关自有工具(如 web 搜索、MCP 工具)在服务端执行;
- 客户端自有工具(如 Codex shell、编辑器操作)返回给客户端执行;
- 厂商自有工具透传到模型后端。
这一分层让 vLLM 服务上的开源模型也能获得类似 OpenAI 的有状态 Agent API 体验。
「编程与Agent」频道最新
- 开源项目 Reef 让 Agent 在部署中持续自我进化权重与编排 — Scobleizer · 2026-09-03
- Agent 记忆检索静默失效:写入正常、无报错,只剩浅层回答 — eldrugo85 · 2026-09-03
- Thoughtworks CTO 撰文:也许我们不该审查所有代码了 — rseroter · 2026-09-03
- moyix 实测:XBOW 也能完成全链路渗透攻击链 — moyix · 2026-09-03
- mcp-fastpath:弃用 npx 把 MCP 冷启动从 3.4 秒压到 592 毫秒 — Obluness · 2026-09-03
- HarnessEvolve 论文：三道闸门修复自进化 Agent 三大失效模式 — dair_ai · 2026-09-03