Surge AI 发布 DAYJOB 基准:最强 agent 仅过 24% 真实工作
echen · x · 2026-09-24
- Surge AI 发布面向专业知识工作的新基准套件 DAYJOB,首发 DAYJOB: Healthcare 和 DAYJOB: Finance 两个子集,共 130 项专家级任务。
- 动机:GDPval 类基准任务指令详尽、边界清晰,而真实工作往往只有一句「@bob 那个好了吗」,agent 需自行从电子表格、文档、Slack 线程中拼出任务并判断信息来源可信度。
- 结果:最强模型在 DAYJOB: Healthcare 仅通过 24.7%,Finance 仅 23.9%——前沿 agent 距离独立胜任朝九晚五的知识工作还很远。
所属事件:Surge AI 发布 DAYJOB 基准，最强模型仅完成四分之一(3 条相关)→
「研究」频道最新
- CoRL 联合主席忆 2021 展区仅三张桌，对比 2026 规模感概行业巨变 — Ed__Johns · 2026-11-12
- 预训练原子模型筛选 1620 种组合，为单原子金属找稳定衬底 — bravo_abad · 2026-11-12
- Claude Fable 5.2 机器人实验被拿去吊打李飞飞 World Labs?作者称搞错了研究问题 — dotey · 2026-11-12
- Claude 数周产出 239 个形式化证明,验证 123 个开源库无崩溃 — kieranklaassen · 2026-11-12
- SynthICL：纯合成数据训练，单演示泛化 16 项真实操作任务 — Ed__Johns · 2026-11-12
- AI Agent 不跑模型直接改权重,1024 个数字让 MATH-500 从 7.4% 升至 37.4% — VictorSanh · 2026-11-12