一个会在限流前暂停 agent 的调度器
Maleficent_Pain2722 · reddit · 2026-07-20
Reddit 上有人开源了 agentpause，一个用于长时间运行 LLM agent 的调度器，目标是在撞上 rate limit 之前优雅暂停，并在下次运行时从精确步骤继续。
它的做法是：
- 每次调用 LLM 前，先用剩余 rate-limit 预算和安全余量估算下一步成本。
- 如果预算不够，就只等待真正需要的时间，或者先 checkpoint 再退出。
- 下次启动时从同一位置恢复，而不是把整个任务重跑一遍。
作者还区分了“逻辑上的 warm start”和“真正的 warm start”：
- 云端 API 通常只能重发完整上下文，或依赖 provider 侧 prompt caching。
- 在 llama.cpp 里，checkpoint 还能带上 KV-cache，通过 /slots save/restore 直接跳过重新 prefill。
- 以 M1 Pro 为例，恢复约 9k token 的 Qwen3-8B 上下文，冷恢复要 46.9 秒，而 warm restore 只要 0.5 秒，快了约 93 倍。
此外，作者还测到：
- 为了保留历史去做压缩，有时反而会破坏 prefix cache，得不偿失。
- 盲目截断会明显伤害事实召回，还可能诱发模型编造细节。
- 仓库里附带 benchmark，支持多种 provider，也能很容易接入 LangGraph。
所属事件:开源调度器agentpause可在限流前暂停智能体(2 条相关)→
「编程与Agent」频道最新
- 旧金山 Code Engineering 大会聚焦从编码 agent 到软件工厂 — LangChain · 2026-10-27
- 用 Claude Code 当 iPhone 取证器:挖出「已删」照片的 30 天隐藏副本 — alex_verem · 2026-10-27
- 用 Claude Code 审计 iPhone 备份，揪出被删照片的全部藏身处 — alex_verem · 2026-10-27
- Yuchen Jin：手机不是移动 IDE，而是 agent 舰队的控制台 — Yuchenj_UW · 2026-10-27
- FrontierCS 2 登陆 Kaggle：48 项任务让智能体复现 13 领域论文贡献 — MeganRisdal · 2026-10-27
- 别只让 AI 复刻老游戏：工程师呼吁用 Agent 造更野的软件 — rschu · 2026-10-27