从业者晒内部 autoresearch 基准:15 分钟时限对齐真实生产效用
JoshPurtell · x · 2026-11-18
Josh Purtell 分享其团队内部用于衡量 autoresearch agent 效果的基准设计:- 15 分钟时限:刻意为之,因为要和真实生产环境中的实际效用相关联,agent 的中位运行时约 15 分钟。
- effort 设置观察:在 astra 上低 effort 反而最好,因为更高 effort 拿不到足够的重复实验次数;max effort「几乎肯定表现糟糕」。
- 他澄清这是内部最高信号的自研基准,不代表业界没有更强的 bench。
所属事件:从业者公开内部 autoresearch 基准:15 分钟时限对齐生产环境(2 条相关)→
「编程与Agent」频道最新
- 微软 Ignite LAB663 实操课:用 GitHub Copilot 与 Model Router 持续优化智能体 — lee_stott · 2026-11-18
- 开发者实测:AI 智能体提速 15% 成本仅涨 0.6%,模型自己承认高估了 token 开销 — dosco · 2026-11-18
- 开发者推出 Aware 浏览器:用 Feed 流作为与 AI Agent 交互的界面 — HaijunXia · 2026-11-18
- Agent 一次任务几十次模型调用,哪些值得用前沿模型? — samcharrington · 2026-11-18
- 不重训练,只改 5064 个权重:DAWE 让模型适配率 20%→88% — lateinteraction · 2026-11-18
- 作者解释 6.2 评测方法:15 分钟时限贴合真实 agent 运行时长 — JoshPurtell · 2026-11-18