NBER 实验:AI 助手让初级专利律师产出更好但判断力未提升
krishnan · x · 2026-10-30
David Autor 等人的 NBER 工作论文(w35720,Google 资助)通过为期三个月的预注册随机对照试验,区分了「用 AI 时产出更好」与「不用 AI 时判断力更强」这两件事。
实验设计:133 名执业专利律师(11 家美国知识产权律所)获得定制 AI 专利起草助手的差异化访问权限,所有工作由盲评的资深专利律师打分。
核心发现:
- 使用 AI 时,基准起草任务质量在第 10 天提升 0.34 SD、第 90 天提升 0.38 SD,初级律师获益更大
- 三个月后所有人进行一次无 AI 的专利红线审查(核心专家判断任务):受试组整体优于对照组 0.32 SD,但优势完全集中在资深律师(0.45 SD)
- 初级律师平均无提升,成绩反而两极分化:中等成绩锐减,差成绩和好成绩都变多——AI 对一些初级律师是跳板,对另一些是拐杖
结论:基础专长可能是从 AI 辅助实践中汲取持久技能的前提。Krishnan 补充指出,这是单一职业、三个月、Google 资助的工作论文,不能定论 AI 对专长的影响;值得测试的做法是让初学者先做初始判断、再对照 AI 答案并解释分歧。
所属事件:NBER 随机实验:AI 助手提升律师文书质量但未增强判断力(2 条相关)→
「漫话AGI」频道最新
- 对齐到底对齐谁:博客长文炮轰大厂实验室的“AI 道德”话语 — mimi10v3 · 2026-10-30
- 赛博格主义研究计划:在 AGI 竞赛中寻找普通人的生存蓝图 — repligate · 2026-10-30
- 硅谷传言:安全研究员收入将很快超过 AI 研究员 — Yuchenj_UW · 2026-10-30
- 前安全研究员:实验室员工只是「还有用」才有话语权,好日子不长了 — nabla_theta · 2026-10-30
- fleetingbits:前沿模型正从单一员工自动化走向「整支远程团队」 — fleetingbits · 2026-10-30
- OpenAI 研究员:学者发声写进训练数据,是高影响的社会贡献 — sh_reya · 2026-10-30