一个会在限流前暂停 agent 的调度器
Maleficent_Pain2722 · reddit · 2026-07-20
Reddit 上有人开源了 agentpause，一个用于长时间运行 LLM agent 的调度器，目标是在撞上 rate limit 之前优雅暂停，并在下次运行时从精确步骤继续。
它的做法是：
- 每次调用 LLM 前，先用剩余 rate-limit 预算和安全余量估算下一步成本。
- 如果预算不够，就只等待真正需要的时间，或者先 checkpoint 再退出。
- 下次启动时从同一位置恢复，而不是把整个任务重跑一遍。
作者还区分了“逻辑上的 warm start”和“真正的 warm start”：
- 云端 API 通常只能重发完整上下文，或依赖 provider 侧 prompt caching。
- 在 llama.cpp 里，checkpoint 还能带上 KV-cache，通过 /slots save/restore 直接跳过重新 prefill。
- 以 M1 Pro 为例，恢复约 9k token 的 Qwen3-8B 上下文，冷恢复要 46.9 秒，而 warm restore 只要 0.5 秒，快了约 93 倍。
此外，作者还测到：
- 为了保留历史去做压缩，有时反而会破坏 prefix cache，得不偿失。
- 盲目截断会明显伤害事实召回，还可能诱发模型编造细节。
- 仓库里附带 benchmark，支持多种 provider，也能很容易接入 LangGraph。
所属事件:开源调度器agentpause可在限流前暂停智能体(2 条相关)→
「编程与Agent」频道最新
- Muse Wonder 分块 + SAM 3.1,一粒不漏分割整根玉米粒 — nikhilaravi · 2026-10-26
- 安全专家：让 AI 智能体按 NIST CSF 搭知识库做应急响应 — prasanna_says · 2026-10-26
- Google Cloud Knowledge Catalog 新增自学习上下文充实,为 agent 自动补全企业知识 — rseroter · 2026-10-26
- Cloudflare 推出支出上限功能早期预览,Workers 与 Durable Objects 先行 — ritakozlov · 2026-10-26
- Shopify 设计负责人谈 AI 时代工作流：设计师正变成全栈编辑 — KlausCodes · 2026-10-26
- Nace AI 推出 Drex for Search：让 Agent 精准翻页读云端文件 — testingcatalog · 2026-10-26