Composio 评测显示编程 harness 成功率接近,但速度差距很大
Teknium · x · 2026-07-29
Composio 的对比显示,三种 coding harness 的 成功率接近,但速度和 token 效率差别很大。
- Kimi Code:22/28
- Hermes:21/28
- Claude Code:20/28
真正拉开差距的是耗时:
- Hermes 的任务中位时间只有 179 秒
- Kimi Code 为 297 秒
- Claude Code 为 348 秒
结论很直接:最快的 harness 和 最省 token 的 harness 并不是同一个。
所属事件:Composio实测:Agent框架Token消耗差30倍(7 条相关)→
「编程与Agent」频道最新
- 四个 Gemini 4 Argon 智能体27小时通关 Minecraft 击败末影龙 — robertarail · 2026-10-16
- 开发者晒沙粒自动修复组件:弄乱沙子会自动复原 — prasenx · 2026-10-16
- Agent 何时需要 API 网关:Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 开源工具 optimAIzr 逐轮追踪 Claude Code/Codex token 浪费 — stichstichstich · 2026-10-16
- 本地部署实测:Gemma 4、Llama 3 与 Mistral 工具调用能力横评 — leslysandra · 2026-10-16
- 多 agent 指挥工具 Harness 冲上 Product Hunt 第 2 名 — dee_hw · 2026-10-16