AutoLab 基准显示前沿模型靠持续迭代赢下长任务
rohanpaul_ai · x · 2026-07-22
AutoLab 发现：长时程研究任务，胜负关键不是第一步有多准
论文提出了 AutoLab 基准，共 36 个长时程任务。每个任务都从一个“能跑但很弱”的代码起点开始，要求智能体在固定时间内持续改进。
- 任务覆盖 系统加速、谜题、模型开发、CUDA kernel 优化 等不同场景。
- 作者测试了 17 个前沿模型，发现决定成败的并不是最初想法有多聪明，而是智能体能否持续测试、反复迭代，并把反馈真正用进去。
- Claude Opus 4.6 在榜单上领先，并不是因为它总能一开始就猜对，而是因为它会反复 benchmark，把实验结果融入下一轮尝试。
- 其他一些前沿模型的失败方式也很有代表性：要么 提前放弃，明明还有时间却不继续做；要么 想太久，最后连有用结果都没提交出来。
这篇论文想说明：当前研究型 agent 仍然卡在“持续做长期工作”这一步，长期迭代能力才是真正的短板。
「模型」频道最新
- GPT-6.1 Terra 事实错误率从 22.3% 降至 4.3%，降幅近 81% — haider1 · 2026-10-27
- GPT-6.1 Terra 发布:早期用户称写作与 computer use 表现亮眼 — BenBajarin · 2026-10-27
- GPT-6.1 Terra 跑分曝光:成本低至 Sol 一半,追不平 Astra — Angaisb_ · 2026-10-27
- Artificial Analysis 更新智能指数 v4.3.2，GPT-6.1 Terra 参与横评 — ArtificialAnlys · 2026-10-27
- AA 实测:GPT-6.1 Terra 幻觉率降 50%,准确率还升 2 分 — ArtificialAnlys · 2026-10-27
- AA 实测 GPT-6.1 Terra:编码 Agent 得 48 分,成本仅前代三分之一 — ArtificialAnlys · 2026-10-27