Schmidhuber 12 年前旧帖再热:无法控制超级智能,它们的对手是彼此
SchmidhuberAI · x · 2026-10-11
有人翻出 Jürgen Schmidhuber 12 年前在 Reddit 上关于超级智能的帖子,他本人转发了这条考古。原文核心观点:
- 不存在持久的方式去控制远比人类聪明、有自己目标、好奇且有创造性的系统
- 可以希望的是人类与它们之间不会有太多目标冲突
- 人类只对能竞争与协作的对象感兴趣(政客关注政客、科学家关注科学家、山羊关注山羊)——同理,超级智能 AI 最感兴趣的将是其他超级智能 AI,而不是人类
这条 12 年前的旧帖与他近期"人类在不久的将来无法再掌控 AI 发展"的表态一脉相承,是研究其对齐立场的经典材料。
所属事件:Schmidhuber:人类很快无法掌控 AI,超级智能彼此竞争(3 条相关)→
「漫话AGI」频道最新
- RLHF 论文作者当时均在 OpenAI、DeepMind 安全团队任职 — binarybits · 2026-10-11
- 马斯克谈安全超智能：最大化求真才是最重要的对齐原则 — XFreeze · 2026-10-11
- 从 RLHF 到机器人 shaping:人类评价如何变成奖励信号 — binarybits · 2026-10-11
- 陶哲轩讲座引争论：人类不完全理解药物机制是否真重要 — teortaxesTex · 2026-10-11
- AI 只解决了生成瓶颈:产品、营销、销售依然艰难 — _jaydeepkarale · 2026-10-11
- Agent 替我吵架砍医疗账单:Muse 实战案例走红引热议 — RachelVT42 · 2026-10-11