实测踩坑:Agent 产品真正的瓶颈是每分钟 token 上限而非延迟
Initial_Orange2985 · reddit · 2026-09-05
一位开发者分享线上实测:整个产品的真正瓶颈既不是延迟也不是单次成本,而是供应商的 token 吞吐上限——每轮约 3600 tokens、总上限 8000 tokens/分钟,意味着全产品只能跑 2.2 轮/分钟,单次调用再快也没用。
几个关键发现:
- 对 429 的重试循环会反向喂饱限流窗口,让限流看起来像宕机。判别方法:同一秒发「完整历史」和「空历史」两个请求,若空请求也失败,那就是吞吐问题而非状态问题。
- 逐块统计 token 去向:身份与风格描述占 prompt 的 65.1%(30 次中位),而描述用户的内容只占 0.1%——大部分配额花在告诉模型「它是谁」。
作者抛出的开放问题:队列在 token 上限下饱和时,该丢弃任务还是排队?丢弃保住延迟但静默丢工作,排队保工作却让用户感到无限挂起。另询问砍 persona token 的质量取舍、以及把廉价轮次路由到小模型是否只是转移瓶颈。
「编程与Agent」频道最新
- Luke Wroblewski 做折叠屏智能体管理 App：协调 agent 已成全天候工作 — LukeW · 2026-10-21
- Agentic SDLC：工程师从写代码者转型为智能体编排者 — Pavan_Belagatti · 2026-10-21
- OpenAI dots 接入 Merge for Workforce：员工权限即 agent 权限 — shensi · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Agent 全盘+辅助功能权限失控，企业急需任务级访问控制 — leveragedupside · 2026-10-21
- Acellera 用无监督 AI 科学家虚拟实验室跑真实分子发现项目 — gdefabritiis · 2026-10-21