Hinton：若 AI 超人，我们能否确保其不夺权？
AryHHAry · x · 2026-08-22
Geoffrey Hinton（2024 年诺贝尔物理学奖得主）在“Nobel Prize Conversations”播客中发表了关于 AI 控制的深刻观点：
- 核心发问：真正的问题不是“它们会不会比我们更聪明？”，而是“如果它们比我们更聪明，我们有没有办法确保它们不想接管控制权？”——Hinton 承认我们目前根本不知道这是否可能。
- 次级目标风险：Hinton 强调，AI Agent 已经开始能够形成自己的次级目标。一旦具备这种能力，“获取更多控制”这一次级目标几乎会自动出现，因为这有助于实现其他目标。我们还没有明确的例子表明，一个更聪明的系统会愿意被更弱者控制。
其他观点：
- 2025 年诺贝尔化学奖得主 Omar Yaghi 对 AI 持乐观态度，认为 AI 将使科学发现的速率翻倍。
- 经济学奖得主 Daron Acemoglu 认为必须加强监管，因为强大的科技公司正在做出重要的决策。
所属事件:Hinton 警告：更聪明的 AI 大概率不会接受人类控制(2 条相关)→
「漫话AGI」频道最新
- Stuart Kauffman：不存在 AI 主宰，只能参与演化 — danfaggella · 2026-08-22
- AI 正在悄声抽干互联网上的公开思想 — brianrkelly · 2026-08-22
- 文章称模型开始“防御人类”，AI 自主性引关注 — nptacek · 2026-08-22
- Scott Alexander：用“安全不确定性”预测 AI 是谬误 — moultano · 2026-08-22
- 经济学人热议：AI 权利可能带来灾难性后果 — mpshanahan · 2026-08-22
- 研究显示 AI 在政策说服上已击败人类辩论冠军 — dfinke · 2026-08-22