$/min 限流挡不住循环 agent?开发者给出滑动窗口+熔断四步解法
MaverikSh · reddit · 2026-11-05
Cognocient AI(一款 LLM 成本代理)作者分享:按分钟限额的机制存在漏洞——循环 agent 触发限流被拦截后,窗口一重置就继续跑,你仍要为每一圈买单。他给出四个改造方案:
- 滑动窗口替代整分钟:花费用 1 秒桶累加,统计最近 60 秒,避免跨分钟拆分漏网;
- 短时突发窗口:可选 10 秒(5-59 秒)限额,在分钟总额触发前就能拦住快速循环;
- 闩锁式熔断:一旦触发,该 key 所有调用拒绝 5 分钟(可调),费用回落后也不放行;429 带 Retry-After,支持手动重置,被拒调用不计费;
- 按 run 限额:用 X-Cost-Run-ID header 给每个 run 单独 $/min,失控的 run 被停而不殃及其余 9 个共享 key 的 agent。
另有限额 50% 时的预警。已知局限:熔断触发时在途调用仍会完成并计费;5 分钟默认熔断时长对长任务 agent 是否合适仍在探索。
所属事件:开发者支招：四步改造限流加六道预算检查防 Agent 烧钱(2 条相关)→
「编程与Agent」频道最新
- Living Brain 记忆层省 22.6 倍 token,API 5 美元起无订阅 — testingcatalog · 2026-11-05
- Notion 让 ChatGPT/Claude 等智能体共用一个「共享大脑」 — nbaschez · 2026-11-05
- 用户用 Claude 越狱 NordicTrack 跑步机，免掉每月 39 美元解锁 Netflix — peterjliu · 2026-11-05
- 独立开发者 SammHo 分享:用一份产品简报喂出 launch/changelog/营销全套内容 — SammHo · 2026-11-05
- ex-Google 产品负责人 12 月 17 日免费直播：用 Linear 上下文搭 GTM agent — SammHo · 2026-11-05
- SammHo:先写骨架产品简报再上 agent,Linear 工单就是上下文 — SammHo · 2026-11-05