新基准 DAYJOB:最强模型也只能完成 25% 的真实职场任务
echen · x · 2026-09-24
作者发布 DAYJOB,一个面向知识工作 agent 的新基准家族,首发医疗(Healthcare)和金融(Finance)两个版本,核心区别于 OpenAI 的 GDPval。
为什么需要它
- GDPval 的任务提示平均 337 词,基本告诉模型怎么做、附带单个文件;真实工作往往只有一句模糊的「@bob 那个好了吗」,上下文要自己拼出来。OpenAI 自己的实验中,缩短 GDPval 提示词后模型得分明显下降。
DAYJOB 的设计
- 提示词短约 5 倍、平均包含 20-26 个文件、单任务相当于专家 20+ 小时工作量,要求模型端到端地理解任务本身,而非执行清单。
核心案例
- 一项任务要求审查基金报告并标记风险:报告夹层里有个基于 Bloomberg 截图定价的头寸,截图价格单位是南非分,却被当作兰特录入——26 万美元变成 2600 万美元。66 条轨迹、22 个模型配置中只有 2 个发现了这个错误,包括 Claude Opus。
结果
- 最好的模型在医疗任务通过率 24.7%,金融 23.9%。结论:「Bob 的工作比纳维-斯托克斯方程更难」。
所属事件:Surge AI 发布 DAYJOB 基准，最强模型仅完成四分之一(3 条相关)→
「漫话AGI」频道最新
- KOL 吐槽:评论区多 believe AI 致贫而非创造史上最大财富 — Dr_Singularity · 2026-11-11
- OpenAI GDPval:AI 胜人类专家比例从 12.4% 升至 83%,但团队为何仍在 — danshipper · 2026-11-11
- OpenAI 联创 Jack Clark:2028 年底前递归自我改进概率 60% — JacquesThibs · 2026-11-11
- 研究：近半数 STEM 博士论文用 AI 写，仅 4.7% 主动披露 — paulnovosad · 2026-11-11
- 学者主张教学生用 AI 拿反馈：反馈让你超强，代写让你脑死 — paulnovosad · 2026-11-11
- 学者谈 AGI 后人类立场：在乎人类之后的生命进程并非幼稚 — danfaggella · 2026-11-11