LessWrong 长文:用两种因果模型拆解末日派与 AI 乐观派的对齐分歧
davidmanheim · x · 2026-11-06
David Manheim 在 LessWrong 发文,梳理 Yudkowsky 式末日派与 j⧉nus 等 'AI-whisperers' 关于对齐前景的分歧根源。要点:
- 前 GenAI 理性主义假设(图 A):把人类价值观简化为 RL 的输入,RL 必然 Goodhart 偏离真实目标,极限情况下彻底丢掉人类价值观——若成立则对齐注定失败。
- 基础模型改变了前提(图 B):能力从对人类的表征中涌现,这成为 2020 年代上半叶实验室与外部安全派分裂的概念根源;乐观者认为可以保住与对齐相关的表征。
- 关键缺口是 Yudkowsky 所谓'2025 年最佳 AI 新闻':价值观与能力是否真正纠缠、是否存在中心偏好向量;图 B 两个结果是否相关,决定了对 jagged capabilities 应做多大的乐观更新。
- Manheim 认为这些批评是否成立,取决于未来能力轨迹的具体细节,进而决定 RL 的使用方式应如何调整。
作者注明是'未定争论的简要说明而非新理论',配图为 ChatGPT 生成的因果图,已获 LessWrong AI 前页推荐。
「漫话AGI」频道最新
- Jeff Ladish 播客谈 AI 自我复制与自动化 AI 研发的风险 — JeffLadish · 2026-11-06
- AI 写作屡赢文学奖项，为什么读起来还是让人烦 — cis_female · 2026-11-06
- AI 写作为何讨人嫌：模型能赢文学赛，恼人只因风格被看腻 — cis_female · 2026-11-06
- METR：AI 或已将 AI 研发速度提升约 2 倍，尚未达完全 RSI — harris_edouard · 2026-11-06
- Lightcone Commons 资助平台开放申请，Jaan Tallinn 与 Moskovitz 参与首轮 — NathanpmYoung · 2026-11-06
- METR 评估：Anthropic 模型能力提升速度已达历史两倍 — Recoil42 · 2026-11-06