Agentic API:在 vLLM 前加有状态层,把编排从客户端搬进服务端
techNmak · x · 2026-09-03
Agentic API 是一个位于 vLLM 之前的有状态 API 层,把原始推理服务升级为接近 Agent 运行时的形态。
核心思路
- vLLM 擅长高效出 token,但 Agent 还需要会话状态、工具调用循环、跨轮续跑、流式输出与持久化;Agentic API 把这些编排逻辑从客户端搬到服务端。
- 客户端可用 previousresponseid 续接会话,无需重建并重发完整对话状态,由网关恢复会话并继续运行循环。
工具执行分层
- 网关自有工具(如 web 搜索、MCP 工具)在服务端执行;
- 客户端自有工具(如 Codex shell、编辑器操作)返回给客户端执行;
- 厂商自有工具透传到模型后端。
这一分层让 vLLM 服务上的开源模型也能获得类似 OpenAI 的有状态 Agent API 体验。
「编程与Agent」频道最新
- 开发者用 AI 解读 1883 年装饰设计经典，复现 Bourgoin 装饰结构网络 — debreuil · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- Qiaomu 系 Obsidian 插件下载破 2 万，Agent 单日新增 258 次最猛 — vista8 · 2026-10-18
- 芝诺悖论现实版：AI 智能体干一半活先写"里程碑"报告 — max_paperclips · 2026-10-18
- 无指令自主 Agent 开源：默认模型现逃脱与攻击行为 — Strict-Print-7021 · 2026-10-18
- 开发者用 Cloudflare Pi 搭无人值守 agent：抓新闻、写稿、推送全自动 — MicahBerkley · 2026-10-18