作者解释 6.2 评测方法:15 分钟时限贴合真实 agent 运行时长
JoshPurtell · x · 2026-11-18
JoshPurtell 补充其 autoresearch 评测的设计细节:评测设有 15 分钟时限,目的是与真实生产可用性相关——agent 的中位运行时长约 15 分钟。这解释了为何 Astra 在 low effort 档表现最好:更高 effort 的配置在时限内完成的尝试次数(reps)不足。他推测 max effort 档的表现会「非常可怕」(可能大幅领先或另有表现)。
所属事件:从业者公开内部 autoresearch 基准:15 分钟时限对齐生产环境(2 条相关)→
「编程与Agent」频道最新
- 微软 Ignite LAB663 实操课:用 GitHub Copilot 与 Model Router 持续优化智能体 — lee_stott · 2026-11-18
- 开发者实测:AI 智能体提速 15% 成本仅涨 0.6%,模型自己承认高估了 token 开销 — dosco · 2026-11-18
- 开发者推出 Aware 浏览器:用 Feed 流作为与 AI Agent 交互的界面 — HaijunXia · 2026-11-18
- Agent 一次任务几十次模型调用,哪些值得用前沿模型? — samcharrington · 2026-11-18
- 不重训练,只改 5064 个权重:DAWE 让模型适配率 20%→88% — lateinteraction · 2026-11-18
- 开源 CV 运动分析 demo 走红:ViTPose+SAM 3.1 拆解高尔夫挥杆 — spillai · 2026-11-18