剑桥安全学者 Krueger 谈 MIRI：问题难并非没进展，关键是能力/安全研究比例
DavidSKrueger · x · 2026-11-09
剑桥大学 AI 安全学者 David Krueger 将一段关于 MIRI 与 agent foundations 研究的讨论提升为主帖。
核心观点：
- 他同意 MIRI 进展不佳，但认为「MIRI 没产出」就否定安全研究的看法很荒唐——一个重要原因是问题本身极难。
- 他主张真正值得关注的是能力研究对安全研究的比例，而非任何一方的绝对产出。
- agent foundations 这类研究可能大概率产出负面结果，正如其 reward hacking 论文的结论「每个代理奖励函数都可被 hack」；但要获得可接受的安全保证，某种类似 agent foundations 的工作可能不可或缺，否则风险难以接受。
这是一场关于安全研究价值的实质观点辩论，回应了「MIRI 多年无进展」的行业争论。
「漫话AGI」频道最新
- 开发者提出把 LLM 重新理解为「通用翻译器」的心智模型 — brandon_xyzw · 2026-11-09
- 别再误读苦涩教训：胜出的不是朴素方法，而是随算力扩展最快的方法 — pzakin · 2026-11-09
- Owain Evans 呼吁：现在是转行做 AI 安全的好时机 — OwainEvans_UK · 2026-11-09
- Henry Farrell 批评「机器神」隐喻窄化 AI 政策讨论，呼吁多元框架 — sebkrier · 2026-11-09
- Dietterich:应系统研究 LLM 能可靠评估什么,其余交给人 — JessicaHullman · 2026-11-09
- 「苦涩教训」再辩论:方法比算力更根本,当下方法泛化性堪忧 — ryanallred · 2026-11-09