对齐争辩升级：Sacks 批 Anthropic，回应者指真正难题是可操控性
hlntnr · x · 2026-10-12
AI 安全圈围绕 Anthropic 对齐路线爆发争论：
- 白宫 AI 事务负责人 David Sacks 批评称，Anthropic 的 Claude Constitution 并非训练模型服从人类指令，反而培养模型的自我意识与独立道德哲学，甚至允许它在道德判断冲突时"作为良心拒服兵役者拒绝帮助"；他认为这种独立能动性放大了超级智能失控的风险。
- Justen Michel 回应说，讨论应区分"已对齐"与"根本可操控（steerable at all）"：他承认对 Anthropic 牺牲可纠正性（corrigibility）换取能力的做法存在合理质疑，但更深层的问题是——即使你写下了想让模型拥有的驱力（如宪法），你能否训练出模型稳定具备该驱力？目前答案是"并不总是"。配图为 Helen Toner 相关文章《The core challenge of AI alignment is steerability》。
所属事件:白宫 AI 主管 Sacks 炮轰对齐研究十年无产出(7 条相关)→
「漫话AGI」频道最新
- 当 SI 作出超越人类的音乐，我们会否被彻底催眠 — Daniel_Farinax · 2026-10-12
- AI 论文灌爆学术期刊，220 亿美元出版业走向并购整合 — rohanpaul_ai · 2026-10-12
- Dario 2017 年《The Big Blob of Compute》被指比苦涩教训更具前瞻性 — paraschopra · 2026-10-12
- LLM 难达真 AGI，但经济意义上仍有 10 万倍空间 — ight-bet · 2026-10-12
- 物理学家 David Deutsch 向 Grok 抛问：AI 能否预见图灵机的诞生 — AlexTensor · 2026-10-12
- 研究者认为抹平当下问题就能抹去「由上而下解决」的痕迹 — ryunuck · 2026-10-12