Krueger 质疑 METR 任务长度指标:编码进步能否泛化到其他领域
DavidSKrueger · x · 2026-11-09
AI 安全研究者 David Krueger 就 METR 的任务长度和 RSI(递归自我改进)度量提出质疑:目前还缺乏严肃研究来验证编码/数学上的进步能多大程度泛化到其他任务。他预期存在「accuracy on the line」效应——分布外(OOD)表现与其指标高度相关,但斜率是多少?且 RL 与监督学习(SL)带来的泛化可能截然不同。
他的观点:
- 加速 AI 研发确实有助于某种 RSI,但结果可能只是某个「学者症候群」式的专才,而非 AGI/ASI
- 跨领域可泛化的推理原理还有很大提升空间,但相关研究少得惊人
- 当前 AI 研究生态堪忧:掌握 SOTA 系统的人因激励扭曲和缺乏透明度不可信,独立研究又因领域迭代太快难以适用于 SOTA 系统
- 他仍认为独立研究是更好的选择,深度学习的规模涌现规律通常能跨模型/规模泛化
配图为 fMoW-WILDS 数据集上分布内精度与 OOD 最差区域精度的相关散点图, illustrating 他说的 OOD 相关性但斜率小于 1 的问题。
所属事件:METR「AI 提速 1.9 倍」结论引爆基准拟合方法论之争(17 条相关)→
「漫话AGI」频道最新
- 媒体货币化五时代演进图：AI Agent 成内容新消费者 — aldeamartinez · 2026-11-09
- Brian Armstrong 倡议科研像开源:每个实验一个可复现的 repo — alishbaimran_ · 2026-11-09
- 敬算力一杯：Reddit 网友讽刺订阅贬值、API 费用成唯一真相 — tesseract_space · 2026-11-09
- OpenAI 工程师:普惠智能加速工程,汽车更安全住房更便宜 — OfficialLoganK · 2026-11-09
- AI 赢得舆论的打法：谈治病、降成本，别只谈数据中心 — nbaschez · 2026-11-09
- Patrick Collison 思考 AI 好结局:人类还工作吗、稀缺是什么 — mhmazur · 2026-11-09