作者解释 6.2 评测方法:15 分钟时限贴合真实 agent 运行时长

JoshPurtell · x · 2026-11-18

JoshPurtell 补充其 autoresearch 评测的设计细节:评测设有 15 分钟时限,目的是与真实生产可用性相关——agent 的中位运行时长约 15 分钟。这解释了为何 Astra 在 low effort 档表现最好:更高 effort 的配置在时限内完成的尝试次数(reps)不足。他推测 max effort 档的表现会「非常可怕」(可能大幅领先或另有表现)。

所属事件:从业者公开内部 autoresearch 基准:15 分钟时限对齐生产环境(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →