评测智能体别只看分数：还应计入 harness 与墙钟时间开销
rickasaurus · x · 2026-10-17
在关于智能体评测的讨论中，rickasaurus 提出除任务成功率外，还应把 harness（评测框架）开销和多智能体系统的编排开销纳入度量。
他主张的口径是：按模型计算「在某个严格质量标准下构建出可用产出所需的墙钟时间」（wall clock time per model），即以真实交付速度而非刷榜分数来衡量智能体能力。
「编程与Agent」频道最新
- Agent 创业者发问:最终答案看着正确,凭什么就敢上线? — VariousMechanic5811 · 2026-10-17
- 除虫公司工程师深夜折腾 OpenClaw， outcome 是全家拥抱 AI 咨询生意 — heyneighbor · 2026-10-17
- Agent 自建虚拟卡代付,用户积分奖励将被悄悄截走 — km · 2026-10-17
- 用户弃订 Grammarly,用 Perplexity 万积分逆向复刻同款产品 — ChrisUniverse · 2026-10-17
- $20 Claude Pro 高效玩法:Opus 5.5 当大脑调度便宜模型干杂活 — dotey · 2026-10-17
- 多智能体系统烧 token 大问题：每个交接环节都要清洗上下文 — alex_verem · 2026-10-17