Surge AI 发布 DAYJOB: Law:71 个真实律师任务测 AI 判断力,Gemini 4 翻车

echen · x · 2026-11-19

Surge AI 发布 DAYJOB: Law 基准,由执业律师设计 71 个任务,覆盖公司交易、诉讼、刑事辩护、劳动纠纷、知识产权、遗产事务等领域。agent 需面对真实客户请求、混乱案卷、极少引导,完成事实调查、法律推理并产出律师可用的成果。

一个典型案例:Gemini 4 Carbon 被要求审查一家初创公司的股权记录、计算 2000 万美元投资应得股份。它发现了关键疑点——前高管的 35 万股在股权表中缺失但仍在官方账册上,董事会批过回购却没有证据执行。但 agent 随后忽略了这个发现,直接按争议股份已注销算出每股 3.3526 美元的精确价格。基准的核心正在于此:AI 能找到事实,却缺乏千万美元级决策所需的职业判断。echen 表示法律 AI 公司 Harvey 的研究团队为基准提供了协作与输入。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →