Surge AI 发布 DAYJOB: Law:71 个真实律师任务测 AI 判断力,Gemini 4 翻车
echen · x · 2026-11-19
Surge AI 发布 DAYJOB: Law 基准,由执业律师设计 71 个任务,覆盖公司交易、诉讼、刑事辩护、劳动纠纷、知识产权、遗产事务等领域。agent 需面对真实客户请求、混乱案卷、极少引导,完成事实调查、法律推理并产出律师可用的成果。
一个典型案例:Gemini 4 Carbon 被要求审查一家初创公司的股权记录、计算 2000 万美元投资应得股份。它发现了关键疑点——前高管的 35 万股在股权表中缺失但仍在官方账册上,董事会批过回购却没有证据执行。但 agent 随后忽略了这个发现,直接按争议股份已注销算出每股 3.3526 美元的精确价格。基准的核心正在于此:AI 能找到事实,却缺乏千万美元级决策所需的职业判断。echen 表示法律 AI 公司 Harvey 的研究团队为基准提供了协作与输入。
「模型」频道最新
- Astra 6.2 实测:随口描述想法就能生成完整可跑应用 — kagigz · 2026-11-19
- Every 实测 GPT-6.2 Astra 与 Sol:有界任务高效,深度工作仍欠判断力 — danshipper · 2026-11-19
- 微软发布 2.3B 端侧小模型 Aion-1.0-Instruct — adefa · 2026-11-19
- GPT-6.2 Astra 登顶 Harvey 法律评测,成本仅为前代三分之一 — ahelkky · 2026-11-19
- 上线仅 19 天,Bittensor 上 Cascade MoE 拿下 GIFT-Eval 预测基准领先成绩 — const_reborn · 2026-11-19
- Sciforium 让 DeepSeek-V4.1-Flash 在 4 张 AMD MI355X 上跑出 P90 1129 tokens/秒 — rohanpaul_ai · 2026-11-19