开源 CLI 审计 agent 轨迹:74% 有浪费,单个 agent 35% I/O 花在自我重复验证
Impressive_Laugh_176 · reddit · 2026-10-20
作者审计了 73 条公开 benchmark agent 轨迹,74% 存在可测量的 token 浪费,并开源了 CLI 工具 chewme-audit(MIT,本地运行,支持 Langfuse/LangSmith/JSONL/Claude Code 轨迹),按厂商定价报告浪费成本并给出修复建议。
关键发现
- 一条轨迹连续 283 次重发同一条格式错误的编辑指令直到步数上限;应用去重修复后浪费下降 77%(13,193 → 3,041 tokens)。
- 单 agent 实测:35% 的 I/O 是重复验证——同一个「找文件」脚本跑了 7 遍。
- 4 个无协调的相同 agent:浪费 15–37%,一个未完成,一个用 head -3 瞄文件后误把 60 行 docstring 当成 stub,删掉了 117 行真实文档。
- 一次调试跑 12/12 通过只花 $0.013,但 trace 显示修复来自一次意外的 git checkout --;重跑干净版本只花 $0.0077——只看 pass/fail 会认证掉第一次的假成功。
每百万浪费 token 成本(按 cache miss 计,2026 年 10 月价格):DeepSeek $0.15、Gemini $0.75、Grok $1.25、Claude Sonnet $2.00、GPT-5 级 $4.00。作者诚实标注了局限:不读 API 日志就无法算缓存与推理 token 超支,所有金额标为估计值。
所属事件:开源工具审计Agent轨迹:74%存在token浪费(2 条相关)→
「编程与Agent」频道最新
- 43分钟视频59段动画:创作者复盘 AI Agent 制作全流程 — MaxLenormand · 2026-10-20
- 用 Opus 5.5 优化分块输出:万字文本延迟从 4.3 秒降到 19ms — DanielLockyer · 2026-10-20
- OpenAI DevDay 东京演示双语音智能体对话架构 — gabrielchua · 2026-10-20
- 老电脑也能用 Claude:Atari ST 原生客户端 ClaudeST 开源 — Hakan_Ozalp · 2026-10-20
- 开源 OpenCode 叫板 Claude Code:可接 GPT、Gemini 与本地模型 — thisdudelikesAI · 2026-10-20
- 开发者用 Decisions API 实时检测语音对话中的工具调用 — gabrielchua · 2026-10-20