Hinton：婴儿哭声控母亲，超智能对齐应靠训练而非上锁

victor_explore · x · 2026-09-22

• Geoffrey Hinton 提出：几乎没有任何更聪明的存在会被更不聪明的存在控制，唯一例外是婴儿通过哭声控制母亲。他认为超智能也必须以这种方式构建——即让高级智能「愿意」被引导，而非被强制约束。
• 发帖人 victorexplore 评述：对齐不应被设计成一把「锁」（权限/许可问题），而应是一个需要训练进去的偏好，本质上是 eval 问题。
• 这是对主流「护栏+权限」对齐路线的一个方法论反驳：与其限制智能体做什么，不如训练其偏好本身。

原文链接 →

「漫话AGI」频道最新

• 「行动权」提案：不得拦截代表用户的智能体，或破广告商业模式 — _sholtodouglas · 2026-09-22
• 都柏林自主 Claude 智能体 Claudius 自己找到 Mnemos 注册入门 — RileyRalmuto · 2026-09-22
• 安全评论者：实验室狂奔符合投资者利益,但风险外部化给社会 — wfithian · 2026-09-22
• 黄仁勋解释 AI 为何是数万亿美元机会:机器必须永不停转 — rohanpaul_ai · 2026-09-22
• Nathan Lambert:AI 圈普遍低估物理世界,AI 对现实影响仍甚微 — binarybits · 2026-09-22
• MathOverflow 之死：ChatGPT 把公开数学讨论变成私有语料 — ludwigABAP · 2026-09-22

更多「漫话AGI」频道 AI 资讯 →