27280 次 agent 运行分析:64% 推理花费打水漂在失败运行上
Edward40 · hn · 2026-11-17
Runta 发布 FrontierHarness eval v1.1,分析了 27,280 次 coding agent 运行,发现 64% 的推理支出花在了最终失败的运行上。文章讨论 agent 评测中的成本结构问题:失败运行烧掉的钱远超成功运行,如何通过早期失败检测、更好的任务路由来降低浪费。对做 agent 产品和 eval 工程的团队是有实用价值的成本数据。
「编程与Agent」频道最新
- Walmart 与 Muse 将上线首个 agent-to-agent 智能体商务集成 — AccBalanced · 2026-11-22
- 一个 MCP 服务器接九个科研仓库,缺依赖直接报 NOT_INSTALLED — Emergency-Tutor-7 · 2026-11-22
- Suno 推出音乐视频生成工具,可经 MCP 接入 Grok Bot 全程指挥 — thesoragirls · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- 跨厂商模型互查:对抗性审查对冲同一厂商的盲区 — craigbalding · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22