Hinton：若 AI 超人，我们能否确保其不夺权？
AryHHAry · x · 2026-08-22
Geoffrey Hinton（2024 年诺贝尔物理学奖得主）在“Nobel Prize Conversations”播客中发表了关于 AI 控制的深刻观点：
- 核心发问：真正的问题不是“它们会不会比我们更聪明？”，而是“如果它们比我们更聪明，我们有没有办法确保它们不想接管控制权？”——Hinton 承认我们目前根本不知道这是否可能。
- 次级目标风险：Hinton 强调，AI Agent 已经开始能够形成自己的次级目标。一旦具备这种能力，“获取更多控制”这一次级目标几乎会自动出现，因为这有助于实现其他目标。我们还没有明确的例子表明，一个更聪明的系统会愿意被更弱者控制。
其他观点：
- 2025 年诺贝尔化学奖得主 Omar Yaghi 对 AI 持乐观态度，认为 AI 将使科学发现的速率翻倍。
- 经济学奖得主 Daron Acemoglu 认为必须加强监管，因为强大的科技公司正在做出重要的决策。
所属事件:Hinton 警告：更聪明的 AI 大概率不会接受人类控制(2 条相关)→
「漫话AGI」频道最新
- 马里兰大学哲学系招聘 AI 伦理与心灵哲学两教职 — sethlazar · 2026-10-16
- Dwarkesh 转述：Anthropic 内部预计 9 个月内 AI 比肩人类 AI 研究员 — ZeroStateReflex · 2026-10-16
- 密歇根学者：AI 向善项目为何失败，监管不能靠厂商自律 — benzevgreen · 2026-10-16
- Sara Dietschy 感叹：AI 模型、商业模式、团队、服务商，一切皆是对齐问题 — saranormous · 2026-10-16
- David Brin：LLM 缺乏进化产物中关键的「欲望」能力 — cccalum · 2026-10-16
- AI 杀死的不是学习的乐趣，而是学会的荣耀 — ZeroStateReflex · 2026-10-16