Surge AI 发布 DAYJOB 基准:测 AI 能否做 14 小时级专业判断
echen · x · 2026-09-24
Surge AI 推出 DAYJOB 基准套件,衡量智能体能否完成「经济上有价值的专业工作」——不只是清晰任务下的单点能力,而是端到端的职业判断:判断该做什么、做决策、跨数天推进工作。
相比 OpenAI 的 GDPval,DAYJOB 改变了任务形态:
- 提示词从 337 词缩短到 49–81 词,环境更杂乱
- 工作环境从 1.2 个文件扩展到 20–26 个文件
- 预估人类工时从 4 小时增加到 14–17 小时
初步结果显示,前沿智能体在 DAYJOB 上仍有很大差距。
所属事件:Surge AI 发布 DAYJOB 基准,最强模型仅完成四分之一(3 条相关)→
「研究」频道最新
- CoRL 联合主席忆 2021 展区仅三张桌,对比 2026 规模感概行业巨变 — Ed__Johns · 2026-11-12
- 预训练原子模型筛选 1620 种组合,为单原子金属找稳定衬底 — bravo_abad · 2026-11-12
- Claude Fable 5.2 机器人实验被拿去吊打李飞飞 World Labs?作者称搞错了研究问题 — dotey · 2026-11-12
- Claude 数周产出 239 个形式化证明,验证 123 个开源库无崩溃 — kieranklaassen · 2026-11-12
- SynthICL:纯合成数据训练,单演示泛化 16 项真实操作任务 — Ed__Johns · 2026-11-12
- AI Agent 不跑模型直接改权重,1024 个数字让 MATH-500 从 7.4% 升至 37.4% — VictorSanh · 2026-11-12