Surge AI 发布 DAYJOB 基准:最强 agent 仅过 24% 真实工作
echen · x · 2026-09-24
- Surge AI 发布面向专业知识工作的新基准套件 DAYJOB,首发 DAYJOB: Healthcare 和 DAYJOB: Finance 两个子集,共 130 项专家级任务。
- 动机:GDPval 类基准任务指令详尽、边界清晰,而真实工作往往只有一句「@bob 那个好了吗」,agent 需自行从电子表格、文档、Slack 线程中拼出任务并判断信息来源可信度。
- 结果:最强模型在 DAYJOB: Healthcare 仅通过 24.7%,Finance 仅 23.9%——前沿 agent 距离独立胜任朝九晚五的知识工作还很远。
所属事件:Surge AI 发布 DAYJOB 基准：最强模型仅完成约四分之一真实职场任务(2 条相关)→
「研究」频道最新
- 不用数字孪生:直接在非线性波硬件上训练物理系统 — bravo_abad · 2026-09-24
- 950 个 agent 跑 21 小时，酶的真实功能仍无定论 — ns123abc · 2026-09-24
- ICLR 2027 抢在 NeurIPS 2026 结果公布前开放审稿竞标引争议 — rao2z · 2026-09-24
- 放弃重度提示脚手架，前沿模型评测改用统一标准化 scaffold — gleech · 2026-09-24
- 耐热真核生物纪录刷新至 63°C,研究主要靠 RNA 测序加 AlphaFold2 完成 — NikoMcCarty · 2026-09-24
- Greenblatt:Neuralese 潜空间推理或大幅加剧 AI 失准风险 — RyanGreenblatt · 2026-09-24