TokenCast:LLM Agent 执行中预测 token 消耗,预算控制省 21.3%
SoutheastU · hf · 2026-09-29
东南大学提出 TokenCast,解决 LLM agent 任务执行前 token 总消耗难以预测的问题——同一任务在不同运行中消耗可相差一个数量级以上。
- 学习每个执行段的组合式成本表示,记录自身消耗及其引入的上下文增长;拼接相邻段可得累计估计,涵盖后段调用重读前段上下文的额外输入成本
- 执行中新证据可刷新预测,无需额外 LLM 调用,在 SWE-bench Verified 上平均每次预测耗时 32.8ms
- 4 个任务套件 × 6 个 agent 模型共 96 种组合上,对最强对比方法的 MAE 降低平均 14.5%
- 离线预算控制回放中,在同等轨迹完成率下比固定预算策略平均省 21.3% token
代码开源于 GitHub(DEFENSE-SEU/TokenCast)。
「编程与Agent」频道最新
- Qwen 团队开源 QwenGyre:超长程 Agent 在线 RL 训练框架 — Qwen · 2026-09-29
- 梗图：用户威逼利诱 agent 执行自己的「烂计划」 — mike64_t · 2026-09-29
- Agent 记忆该有保质期：作者提出六字段记忆元数据框架 — Hairy-Difficulty-411 · 2026-09-29
- 开发者搭桥：网页版 ChatGPT 通过远程 MCP 直接操作本地电脑 — ChoasMaster777 · 2026-09-29
- 99 秒演示:用 MCP 给 Agent 加终端+浏览器受控执行与审批边界 — ImaginaryMachine9110 · 2026-09-29
- SolarMind 亮相：带持久记忆的 AI 事故响应 Agent 四级自动分诊 — CountyNecessary4030 · 2026-09-29