从业者公开内部 autoresearch 基准:15 分钟时限对齐生产环境
Josh Purtell 分享了其团队内部用于衡量 autoresearch agent 效果的基准设计细节:评测设有 15 分钟时限,属于刻意为之,目的是与真实生产可用性关联——因为 agent 的中位运行时长约为 15 分钟。该设计说明回应了外界对 6.2 评测方法的疑问。
2026-11-18 ~ 2026-11-18 · 2 条相关
- 作者解释 6.2 评测方法:15 分钟时限贴合真实 agent 运行时长 — JoshPurtell · 2026-11-18
- 从业者晒内部 autoresearch 基准:15 分钟时限对齐真实生产效用 — JoshPurtell · 2026-11-18