METR 实验:AI 让资深开发者慢 19%,本人却自认快了 20%
srimisra · x · 2026-10-30
作者引用 METR 2025 年初的随机对照实验:16 名资深开源开发者、246 个任务,使用 Cursor Pro + Claude 3.5/3.7 Sonnet。结果与感觉严重背离——
- 任务前开发者预测 AI 提速 24%,经济学专家预测 39%、ML 专家预测 38%
- 事后开发者仍自估提速 20%
- 实测:反而慢了 19%
屏幕录制分析显示时间去向:主动编码和信息检索变少,提示 AI、等待 AI、审查 AI 输出和空转时间变多;AI 生成代码的采纳率不足 44%,被拒绝的输出仍在消耗阅读时间。可怕之处不在变慢,而是聪明人完全感觉不到。
作者给出团队避坑建议:先写清「完成定义」再写 prompt,模糊需求导致返工循环;设止损规则(两次失败就接管);不要干等生成,排队下一个任务;仓库越成熟、标准越高,AI 缺上下文越明显——这正是它拖慢人的地方;用同一类任务有/无 AI 计时对比自己,一周真实数据胜过一年印象。
「漫话AGI」频道最新
- DeepMind 新文:单 agent 评测测不到的「协调」才是经济剧变的开关 — krishnan · 2026-10-30
- 人脑擅长驾驭,电脑脑已在写代码上超越人类 — MartinGTobias · 2026-10-30
- 生物科技创始人:AI+CRO 外包让初创成本降至自建的 20-60% — PatrickKidger · 2026-10-30
- Gary Marcus 等发论文:模仿人类是 AI 发展的错位目标 — ValerioCapraro · 2026-10-30
- 六层框架看懂 AI 新闻:从电力、芯片到应用的_stack 思维 — ResponsibilitySad28 · 2026-10-30
- 写了十年基因组学软件的工程师:经历身份危机后拥抱 Agent 编程 — jmschreiber91 · 2026-10-30