实测揭示Agent框架成本差异：Claude Code Token消耗远超同类

Composio 团队近期针对大模型与 Agent 框架的组合进行了成本与性能测试，揭示了当前 AI 编码领域的成本陷阱：在任务成功率相近的情况下，不同框架的 Token 消耗存在巨大差异，最高相差达 30 倍。

已确认

• 成功率接近：Composio 让同一个模型（Kimi K3）在 28 个相同任务下分别使用 Claude Code、Hermes 和 Kimi Code 运行。测试结果显示三种框架的成功率十分接近，其中 Kimi Code 成功 22 项，Hermes 成功 21 项，Claude Code 成功 20 项。
• Token 消耗悬殊：尽管成功率相近，但 Token 消耗差距巨大。Claude Code 的中位数任务消耗约 34 万 Token，而 Kimi Code 仅约 6.1 万，两者相差约 6 倍。开发者 rasbt 的独立测试也印证了这一点，发现 Claude Code 相比其他框架会多消耗 2-3 倍 Token。
• 速度差异：除了 Token 效率，不同框架的执行速度也存在很大差别。

为什么重要

• Harness 是成本黑洞：测试表明，选择不同的 Agent 框架会直接导致 API 成本产生数十倍的差距。这意味着在 AI 编码应用中，框架本身的“套壳”开销已经成为不可忽视的成本核心，开发者在选型时必须将 Token 消耗效率纳入关键考量。

2026-07-29 ~ 2026-07-31 · 5 条相关

• 【源头】Composio 评测显示编程 harness 成功率接近，但速度差距很大 — Teknium · 2026-07-29
• 【源头】实测对比：Claude Code 任务消耗 Token 约为 Kimi 的 6 倍 — zainhas · 2026-07-30
• Kimi K3实测：不同Agent框架Token消耗相差达30倍 — evijit · 2026-07-30
• 【源头】实测揭示 Agent 套壳成本陷阱:选错 harness Token 消耗差 30 倍 — aigclink · 2026-07-30
• 实测：Claude Code 跑 Agent 任务比其他框架多耗 2-3 倍 Token — RexDouglass · 2026-07-31