Surge AI 发布 DAYJOB: Law 基准,71 项真实法律任务考倒 AI agent
Surge AI 的 echen 发布新基准 DAYJOB: Law,由执业律师设计 71 个真实任务,覆盖公司交易、诉讼、刑事辩护、劳动纠纷、知识产权和遗产事务等领域,测试 AI agent 能否胜任真实律师工作。背景是模型多年前就通过律师资格考试,但真实执业与考试差距巨大。结果显示 AI agent 判断力不足,Gemini 4 也在任务中翻车。
2026-11-19 ~ 2026-11-19 · 2 条相关
- DAYJOB: Law 基准:71 项真实法律任务考倒 AI agent — echen · 2026-11-19
- Surge AI 发布 DAYJOB: Law:71 个真实律师任务测 AI 判断力,Gemini 4 翻车 — echen · 2026-11-19