vLLM 实测:Agent 会话中位 43 轮,输入 142K 输出仅 444 token
vllm_project · x · 2026-09-09
vLLM 基于真实编码 Agent 追踪数据揭示 agentic 流量特征:
- 会话中位 43 轮
- 中位输入 142K token,输出仅 444 token
- 前缀缓存命中率超 96%
- 44% 的会话会 fork 子 agent
特征是「长前缀、极短输出、大量复用」。配套数据显示 DeepSeek V4 Pro 在严格 p90 交互性 SLO(每用户 50+ tok/s)下单 GPU 每秒可承载 83K token,前沿档达 130K;同等缓存命中率下服务 Opus 5 成本高 106 倍,说明为开源权重模型调优推理栈的空间巨大。
所属事件:vLLM 发布 AgentX 全栈优化：成本较 Opus 5 低 106 倍(7 条相关)→
「编程与Agent」频道最新
- 让 Hermes Agent 当 QA：浏览器实测揪出 8 个网站问题 — techlatest_net · 2026-10-27
- 开源 FableCut 用远程 MCP 让 AI Agent 直接剪辑浏览器时间线 — FastPresence9799 · 2026-10-27
- 网友给 Hermes Agent 配专属 Ubuntu 虚拟机实测真实任务表现 — techlatest_net · 2026-10-27
- 开发者晒弃用清单：VS Code、Office 全卸载，只用 Claude — One_Improvement_6470 · 2026-10-27
- Grok bot 首次自主网购：识破页面隐藏提示，1 美元开通 Spotify 后秒取消 — msg · 2026-10-27
- Swarmatory 开源：为团队编码 Agent 提供共享聊天室与信息流 — qhoxie · 2026-10-27