DAYJOB 基准:最强 Agent 通过率仅 24.7%,难以“上满一天班”
echen · x · 2026-09-29
Surge AI 发布 DAYJOB 基准,评测 agent 能否胜任朝九晚五的真实职业工作:
- 包含 DAYJOB: Healthcare 与 DAYJOB: Finance 两个环境,共 130 项由领域专家构建的任务,模拟真实专业工作
- 任务特点:指令简短、环境庞大且杂乱,agent 必须自行判断什么重要并把工作推进到底
- 目前最强模型在 Healthcare 任务上通过率仅 24.7%,Finance 任务仅 23.9%
结论:从“完成一个 prompt”到“撑过一天办公室工作”之间仍有巨大差距。
「编程与Agent」频道最新
- 外卖公司 Wonder 用 LangSmith 打造每周 21 餐全自动订餐 Agent — LangChain · 2026-09-29
- React-to-Anything：Muse Spark + SAM 3.1 让点赞粘在视频物体上 — nikhilaravi · 2026-09-29
- AI 机器人集成器：端到端完成 MicroFactory 整套部署 — ihorbeaver · 2026-09-29
- Dagger 创始人：2026 年大 CI 瓶颈是软件问题，堆机器救不了 — msharmas · 2026-09-29
- Sonnet 5.5 上线 Factory，早期实测：High 档是最佳默认 — matanSF · 2026-09-29
- AI 催收 agent 擅自编造和解金额,公司被迫收回其资金决策权 — Unique-Werewolf-2784 · 2026-09-29