十个律师改出十份合同:Harvey 团队公开「无唯一正确答案」任务的评测方法
graceisford · x · 2026-10-07
Harvey 工程师 Aveek Dasgupta 分享了为合同审查 agent 设计评测的经验,ryanjdaniels 转发称这是 transformer 模型的重大未解问题。
核心困境:
- 十个优秀律师会以十种不同方式修改同一份合同,不存在唯一标准答案
- 没有可验证奖励时,如何判断 agent 的输出「足够好」并进行迭代优化(hillclimb)?
团队称已在评测设计上攻破了这个难题的关键部分,法律推理是此类多解任务中最复杂的领域,现已公开具体方法论。
所属事件:Harvey 团队分享合同审查 Agent 评测难题与解法(2 条相关)→
「编程与Agent」频道最新
- 开发者用 Claude 克隆自己做了两年的游戏：结果很惨，AI 复制不了手感 — IanArawjo · 2026-10-07
- Sarms Marketplace 支持 MCP 服务器发布与一键配置导出 — KyeGomezB · 2026-10-07
- Claude Code 云端会话实战指南:七个工作流与 GitHub 接入技巧 — EricBuess · 2026-10-07
- Cloudflare Git 挑战第 4 天：让 agent 队伍夜里不再停摆 — Al_Grigor · 2026-10-07
- Meta、Sierra 等 8 家公司推 Personal Agent Protocol 开放标准 — jeff_weinstein · 2026-10-07
- 观点：vibe coding 最大的用例根本不在写代码 — mrdrozdov · 2026-10-07