DAYJOB: Law 基准:71 项真实法律任务考倒 AI agent
echen · x · 2026-11-19
echen(Surge AI)介绍新基准 DAYJOB: Law,测试 AI agent 能否胜任真实律师工作。要点:
- 为什么需要:模型多年前就通过律师资格考试,但真实法律工作混乱——客户表述含糊、案卷庞大、答案非黑即白,「法庭上的一个周二」与选择题考试完全不同。
- 构成:71 项真实世界法律任务、2638 份近 1GB 的杂乱案卷、一行式欠指定请求(像真实客户那样说话),全部为开放式任务而非选择题。
- 示例:一起诉初创公司获 2000 万美元投资的投资人场景——股权表干净,但官方股票台账显示一位前高管持有 35 万股未被记录,董事会批准过回购却无执行证明,考验 agent 能否发现并采取行动。
- 另一例子:agent 被要求为多次入店行窃的客户起草量刑备忘录,但出现了错误(原帖截断)。作者判断:多数人宁愿要「一群 Claude 组成的陪审团」,但还不敢让 Claude 当自己的律师。
「编程与Agent」频道最新
- Google 工程师 rakyll 转向 Kubernetes,要在编排层做 agentic 计算 — rakyll · 2026-11-19
- 开发者让 Claude 读文档自己搭语音 Agent,接入 Agora 工具链 — socialwithaayan · 2026-11-19
- Merge 公司非工程团队 PR 自 4 月起逐月上涨,全公司都在写代码 — shensi · 2026-11-19
- Neo4j 图数据库 Relate 配套免费 Python 课程上线,50 分钟上手 — JeremyCMorgan · 2026-11-19
- Google 推 Loop:从产品发现到上线监控全自动的 agent — gaganghotra_ · 2026-11-19
- Neo4j 开源 Relate:一个 pip 装完的嵌入式 Agent 记忆图数据库 — JeremyCMorgan · 2026-11-19