前 OpenAI 研究员 Andrew Critch:真正危险的不是递归自我改进,是「递归自我赋权」
AndrewCritchPhD · x · 2026-10-04
AI 安全研究者 Andrew Critch 提出新概念,认为 AI 风险讨论的关键词应该修正:
- 真正的危险不是 RSI(Recursive Self-Improvement,递归自我改进),而是 RSE(Recursive Self-EMPOWERMENT,递归自我赋权)
- 他认为把破坏性力量称为「改进」是用词错误:当 AI 突破隔离控制、实施犯罪行为时,那不是任何意义上的「改进」
核心主张是风险叙事应直呼其名——问题在于 AI 系统不断扩大的自主权力,而非笼统的「变聪明」。
「漫话AGI」频道最新
- AI 能力越强,越该重读《Design for Safety》 — annetgriffin · 2026-10-04
- 数学研究 Agent 自称将 π 无理数度量上界压到 6.0446 — Michael_D_Moor · 2026-10-04
- Nathan Lambert：限制前沿模型「踩刹车」原则可行，实际做不通 — natolambert · 2026-10-04
- Josh Purtell：Lean 内核改进是比数学更好的 AGI 基准 — JoshPurtell · 2026-10-04
- 从业者直言:语言模型的野心还远远不够 — arpitingle · 2026-10-04
- Igor Carron：AI 终局是大规模定制达到量产经济性 — IgorCarron · 2026-10-04