为 agent 省下 200K token 重发,vLLM 开源有状态续传 API
AccBalanced · x · 2026-10-19
EmbeddedLLM 团队指出当前 agent 工具链的一大痛点:内核层面已把每一微秒压榨到极致,但 agent 却为了一句「继续」就重发 200K token 的完整上下文。他们开源了 vllm-project/agentic-api,提供有状态续传(stateful continuation)、更小的请求体与更低延迟,兼容 Codex、Claude Code 等 harness,并支持 MCP、服务端工具与网页搜索。Ray Summit 演讲配图显示,其 Agentic API(WS/HTTP-SSE)能让客户端请求字节数在不同对话轮深下保持恒定,而直连 vLLM 的请求体积随轮数线性膨胀至 40 万字节。
「编程与Agent」频道最新
- 用 AI 重写 Inkscape 的 OpenGL 后端,Mac 上再提速 2 倍 — thomasahle · 2026-10-19
- Google Antigravity 上线 Gemini 4 Argon,提供低中高三档思考等级 — _philschmid · 2026-10-19
- Burkov 指出坐标输出是 GUI 智能体的隐性瓶颈 — burkov · 2026-10-19
- pi-durable v1.3.0：SQLite 表前缀与 DO 共库协调，修内存峰值 — solyarisoftware · 2026-10-19
- 语音 AI 别用转圈等待：说话式工具调用的工程实践 — solyarisoftware · 2026-10-19
- OpenRouter 曝光 24/7 自我改进安全 agent Sentinel，误判率仅 0.05% — Dan_Jeffries1 · 2026-10-19