法律AI评测没有单元测试，Crosby 用模型预测律师是否采纳 AI 修改
graceisford · x · 2026-10-22
- Crosby（AI 法律公司）发文《Scaling Legal Judgment》，指出专家级工作没有单元测试，数学/代码领域的评测套路不能直接照搬到非可验证领域。
- 他们的做法：训练一个模型来预测律师是否会原样接受 AI 生成的合同修改建议（redline），评测依赖自定义的 learned judges 和成对比较（pairwise comparisons）。
- 背景是同一条合同修改建议，三个律师可能给出三种不同判断，说明该领域的评测标准本身高度主观，需要专门的方法论。
所属事件:Crosby 发布法律验证器：预测律师是否采纳 AI 产出(3 条相关)→
「漫话AGI」频道最新
- Peter Diamandis 谈 AI 与教育：让 AI 做九年级作业是灾难，用它设计星际飞船才是教育 — PeterDiamandis · 2026-10-22
- Jacob 界定 AI 落地真瓶颈：智能不缺，缺的是任务规范 — jefrankle · 2026-10-22
- 物理学定律表明：我们离技术的极限还很远很远 — burny_tech · 2026-10-22
- 「芝诺奇点」：如果 RSI 只是温和爬坡，智能爆炸永远不会到来 — bradneuberg · 2026-10-22
- 学者指出:竞速压力正系统性奖励更少安全监督的模型开发决策 — davidmanheim · 2026-10-22
- 安全研究者：竞速压力正系统性削弱模型安全 — Hugging Face Blog · 2026-10-22