TokenPilot 上下文管理降 Agent 推理成本,最高省 87%
青稞AI · wechat · 2026-10-13
浙大 ZJUNLP 团队的 LightRSI 项目发布工程更新,核心组件 TokenPilot 专注轻量化 Agent 长会话 rollout,相关论文已被 EMNLP 2026 录用。
三大优化手段
- 前缀稳定化:稳定时间戳等动态字段,保住前缀缓存命中,两个基准的宏观缓存命中率分别从 38.7%→79.2%、67.2%→83.1%
- 工具输出精简:工具结果进入上下文前压缩结构性噪声与长日志,原始内容归档、可按需恢复
- 历史管理:按任务状态与后续使用价值延后清理或移除旧任务历史
工程落地
- 已适配 OpenClaw、Claude Code、Codex、pi、DeepSeek Harness、OpenCode 六种工具,新增 lightrsivisual 本地可视化面板查看缓存审计与精简记录
- ContextCleaner 让用户按任务列表自主选择清理内容,进行中任务、未解决问题与系统指令受保护,确认后才执行
实测效果(连续任务同一会话):PinchBench 推理成本 $7.24→$2.79(降约 61%),任务分 79.2→81.3;Claw-Eval 成本 $81.52→$10.58(降约 87%),但任务分从 63.4 降至 60.8。作者提醒收益取决于后端缓存支持与任务关联度。项目与论文均开源。
「编程与Agent」频道最新
- PHP/node.js/GitLab 大规模安全事件后，Cognition 开源 Devin 修复插件 — Scobleizer · 2026-10-23
- 用 Grok 机器人+租 GPU，个人微调模型变得触手可及 — Rasmic · 2026-10-23
- 一句 prompt 挖出 PHP 预认证 RCE：Agent 辅助漏洞挖掘实录 — chrisrohlf · 2026-10-23
- AutoRouter 公测：按任务难度自动在 Claude/GPT 等模型间分单省 token — floguo · 2026-10-23
- Speak 详解 GPT-Live 实时语言家教:如何用低延迟决策实现即时纠错 — pbbakkum · 2026-10-23
- Google Live API 新增决策触发器，比 function call 更快 — pbbakkum · 2026-10-23