对齐研究会否加速能力?2015 年 Nate Soares 旧帖再被翻出佐证

jessi_cata · x · 2026-11-22

在关于对齐/能力交叉点的讨论中,jessicata 引用 Nate Soares 2015 年回复 Wei Dai 的评论和 2018 年一份内部研究更新作为证据。

Soares 当时的核心论述:通往「胜利」的路径基本只有两条——(a) 对齐的 de novo AGI(需强大到能安全阻止恶意系统发生智能爆炸)或 (b) 大规模全球协调;他略更看好 (a)。他承认 MIRI 的去混淆研究若让他人更容易造出 UFAI,效果是「让失败更早到来」,但这是保持路径 (a) 开放必须付的代价——他宁愿要 10 年时间线 + 建立在扎实形式化理解上的实用系统,也不要 20 年时间线 + 19 年 hack 加 1 年补丁。

2018 年的更新则更明确:若深度学习已接近 AGI,MIRI 去混淆工作对能力研究的影响会减弱;但若真正弄清对齐所需的「切开自然关节」的概念,这些概念很可能同样带来能力提升——深度科学洞察带来意外实用应用有强历史先例。

所属事件:Nate Soares 旧帖再被翻出,对齐研究会否加速能力引争(2 条相关)→

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →