Agent 评测限时不设关卡：8 小时 wall clock 上限够用吗
xeophon · x · 2026-09-17
- xeophon 认为 agent 评测不应设 turn/token 这类人工限制，转而采用极长的 wall clock 时间上限：Terminal-Bench 4.0 设 8 小时，24 小时可能更合适。
- 作为对照，@langstonnashold 反驳称 wall clock 时间会过度惩罚基础设施差异（共置 sandbox、低延迟部署、负载波动等），主张评测成绩不应受 infra 影响；而 turn 数在涉及 sub-agent 或不透明 harness 时很难定义。
所属事件:Agent 评测指标之争：该看 token 与轮次，还是只看钱和时间(3 条相关)→
「编程与Agent」频道最新
- 双 RTX Pro 本地推理实测：解码 150 tok/s、预填充 10K tok/s — No_Run8812 · 2026-09-17
- MCP Community Connect 旧金山站:GitHub 总部深聊 MCP 服务器与 Agent 互通 — lee_stott · 2026-09-17
- Jev 引发热议:很多人忘了 encoder-only 分类器早已存在且好用 — brandon_galang · 2026-09-17
- 开源 Unity 文档 skill:让编码 agent 免于重复查文档 — kevinkern · 2026-09-17
- 用 AST 剪枝 Go 编译器砍掉 85% MCP 提示词膨胀 — Confident_Language_6 · 2026-09-17
- 开源会议笔记 Anarlog 上线远程 MCP,带 OAuth 2.1 资源绑定 token 防重放 — beerbellyman4vr · 2026-09-17