Sandberg 反驳：正确目标可能因 Kolmogorov 先验而极其简单
anderssandberg · x · 2026-09-09
延续与 davidmanheim 的对齐讨论，Anders Sandberg 提出反方论点：超级智能会做的「正确的事」可能反而相当简单，比如「增加幸福」——因为简单目标在 Kolmogorov 先验和鲁棒性上占优，而非复杂道德推理的层层附加。超级智能只是提供强大的实现能力。他也自嘲希望正确目标与自己信奉的多元、宽容、自主等自由价值一致，但也承认自己在成长中观点不断变化，超级智能或许会带来剧变。
「漫话AGI」频道最新
- 投资人断言：应用软件的真实威胁是 agent 层，三个月股价波动无关紧要 — matt_slotnick · 2026-09-09
- 前沿实验室为何停不下来：商业、安全与地缘三重囚徒困境解析 — S_OhEigeartaigh · 2026-09-09
- New Scientist 批驳末日论新作：AI 不会杀死全人类 — GarrisonLovely · 2026-09-09
- UK AISI 失去模型访问权,或预示美国之外的前沿模型获取都将受限 — Afinetheorem · 2026-09-09
- Ben Lorica：别迷信 RSI，模型是租的、改进闭环才是资产 — bigdata · 2026-09-09
- RL 研究者 nat Lambert：两条证据推不出「AI 将在 N 年内杀死我们」 — natolambert · 2026-09-09