从歌德的魔法扫帚到失控 AI：研究者为何担忧自我改进模型
OmarUFlorez · x · 2026-09-16
作者 Omar U. Florez 在秘鲁《商报》与阿根廷《国家报》发表的专栏，试图从技术角度解释为何众多 AI 研究者担忧递归自我改进模型可能失控。
- 文章以歌德 1797 年的诗《魔法学徒》（即迪士尼《幻想曲》的灵感来源）开篇：学徒会念咒让扫帚打水，却不会让它停下，砍碎后每片碎木都变成新的扫帚——问题恰恰在于扫帚「太听话」。
- 作者指出 9 月初的几件事印证了这种担忧：27 岁 Anthropic 研究员 Jacob Coxon 辞职，警告 Anthropic 与 OpenAI 正走向能自动自我改进的系统；Anthropic 对齐负责人 Evan Hubinger 公开支持这一担忧，称其个人认为 AI 在未来十年内终结人类概率超过 10%。
- 作者的核心观点是：人类对无法控制的事物有特殊恐惧，而对齐技术的难点与魔法学徒面临的两百年前的困境一脉相承。
「漫话AGI」频道最新
- 秘鲁报刊专栏：为何研究者担心递归自我改进失控 — OmarUFlorez · 2026-09-16
- Mustafa Suleyman：AI 不应有权利和法律人格，「模型福祉」是伪命题 — AlexTensor · 2026-09-16
- AI 让公司首次能构建机构知识的复利引擎,赢家价值将倍增 — chetanp · 2026-09-16
- EA 老兵自述:入圈十年独自潜水,ai-risk 观点非互相洗脑产物 — AndyMasley · 2026-09-16
- 六位专家谈 AI 灭绝人类风险:有担忧但共识缺缺,末日论降温 — gedbarker · 2026-09-16
- 分析师重申应严格限制人形机器人:多场景或应全面禁用 — binarybits · 2026-09-16