实测：agent 重试不关连接，每任务白烧约 148 tokens
No-Peanut-6988 · reddit · 2026-10-23
Sorami 团队在自托管 vLLM 0.31.0 上量化了 agent 客户端放弃请求后模型侧的行为：
- 关闭连接：生成立即停止，0 个多余 token。
- 停止读取但保持 socket 打开 5 秒：每次被取消的请求多产生约 44 tokens。
- 读完再丢弃：约多 53 tokens，长自然语言回答上约 175 tokens。
关键在重试场景：设 1.5 秒超时 + 一次重试时，未被关闭的旧请求平均每任务浪费约 148 tokens；按时完成率从 38% 降到 21%，若旧连接一直不关则降到 11%——被放弃的请求仍在和重试争抢同一块 GPU。
结论：只 "停止 await" 而不关闭流的超时包装会让重试更慢并烧掉你已放弃的答案。修复方法是真正 abort 流（AbortController、关闭 response、取消 task）。局限：只测了 vLLM/SGLang 在 L4/A10G 上两个模型，未测 llama.cpp、Ollama、TGI 和托管 API。
「编程与Agent」频道最新
- MIT 教授用 AI 给自己的学术网站做体检,还开源了评审 playbook — soumitrashukla9 · 2026-10-23
- 机械臂 Podrick 学会插餐具,靠从失败运行中自我总结经验 — ycombinator · 2026-10-23
- 实测 agent 沙箱：开启自动批准后 12 次全部放行外联 — No-Peanut-6988 · 2026-10-23
- 实测写 JSON Schema：Claude 最强，Gemini 最弱 — gaganghotra_ · 2026-10-23
- OSI 黑客松开源 Consilith:人类与多个 AI Agent 同室协作做科研 — BenBlaiszik · 2026-10-23
- Claims Engine：把证据与论断连成知识图谱的开源系统 — anselm · 2026-10-23