审计 73 条 Agent 轨迹:74% 存在可测量的 token 浪费
Impressive_Laugh_176 · reddit · 2026-10-20
作者开源了 chewme-audit(MIT,CLI 工具),可本地解析 Langfuse、LangSmith、JSONL 和 Claude Code 轨迹,按厂商定价定位 token 浪费并给出修复建议。
关键发现:
- 73 条公开 benchmark agent 轨迹中 74% 有可测量浪费;最极端案例重复发送同一畸形编辑命令 283 次,应用去重修复后浪费降 77%(13,193 → 3,041 tokens)。
- 单 agent 35% I/O 是重复验证——同一个找文件脚本跑了 7 次。
- 4 个无协调的同任务 agent 浪费率 15–37%,一个因用 head -3 浏览文件、把 60 行 docstring 误判为 stub 而误删 117 行真实文档。
- 一次调试跑 12/12 通过只花 $0.013,但 trace 显示修复其实来自一次意外的 git checkout --;重跑干净版只要 $0.0077——pass/fail 无法识别这种假成功。
作者坦承局限:缓存行为和 reasoning token 超支需要 API 日志,74% 来自 benchmark 轨迹(生产轨迹循环更少)。
所属事件:开源工具审计Agent轨迹:74%存在token浪费(2 条相关)→
「编程与Agent」频道最新
- Agent 记忆文件该设多大?Reddit 网友实践:压到 200 行内每周合并 — bayvo · 2026-10-20
- Mistral Vibe CLI 3.0 发布:终端 UI 改用 Rust 重写,首帧仅需 72ms — onetwoval · 2026-10-20
- Agent 答错不怪模型:数据脏才是主因,用 20-30 个真实问题做审计 — SUPERSAIIYANNN · 2026-10-20
- 用 Nemotron 3.5 Super VL 做聚餐分账应用:推理成本值不值 — HowDevelop · 2026-10-20
- Mila 提出 RSA 测试时扩展法,Gemini 3 Flash 冲近 ARC-AGI-2 榜首 — morgymcg · 2026-10-20
- Sparrow 本地部署将 MRI 报告转结构化数据,敏感医疗数据不出内网 — andrejusb · 2026-10-20