对齐路线之争:Sotala 反对押注 CEV,Raemon 回应旧质疑
9 月 9 日,AI 研究者 Kaj Sotala(网名 xuenay)与 LessWrong/alignment 圈作者 Raemon777 围绕经典对齐目标 CEV(连贯外推意志,coherent extrapolated volition)展开了一轮针锋相对的讨论。Sotala 明确反对把 CEV 作为对齐目标,主张采用接近已知有效、更简单的方案;Raemon 则为 CEV 辩护,双方交锋尚无定论,但对对齐研究的目标选择有直接参考价值。
已确认
- Sotala 对 CEV 提出三点核心质疑:CEV 概念本身是否连贯、在实践中能否实现、以及它灾难性失败的概率是否真的低于他所主张的更简单方案——这三点他均持怀疑态度
- 他认为对齐本身已经足够难,不应再叠加 CEV 这种更投机、从未被验证过的概念;人类要考虑把整个光锥(lightcone)的未来交给这个「人类历史上从未检验过」的全新概念,风险过高
- 他的替代主张是:虽然尚不知如何构建会安分扮演「智慧顾问」角色的超级智能,但大致知道智慧顾问应该是什么样,应先沿这条已知可行的最小化路线推进
- Raemon777 为 CEV 辩护,称对方对 CEV 的常见反对意见大多是约 20 年前(2004 年原始论文及相关讨论)就已被识别并回应过的问题,并暗示反对方只是在凭感觉重提旧质疑
- Sotala 随后又反指 Raemon 为 CEV 提出的异议回应同样「似乎都已在 20 年前被讨论过」,并自省「被回应过」这一表述本身可能不准确
尚未确认
- 双方均未拿出新的实证或形式化论证,交锋主要停留在文献层面的「你的质疑早就被回应过 / 你的回应也早被质疑过」式互相指认,孰是孰非尚无定论
为什么重要
- CEV 是 Yudkowsky 时代提出的经典对齐目标,近年在「该选什么对齐目标」的讨论中重新受到审视;这场争论集中呈现了「押注全新宏大概念」与「坚持已知可行的最小化方案」两条路线的分歧,对对齐研究的目标选择有直接参考价值
2026-09-09 ~ 2026-09-09 · 6 条相关
一手来源
- 「要把光锥交给从未验证过的新概念吗」:CEV 路线遭尖锐质疑 — xuenay ·
- 对齐路线之争:质疑 CEV 的可行性与灾难风险高于简易方案 — xuenay ·
- Raemon 为 CEV 辩护:反对方只是在凭感觉反对 20 年前已回应的质疑 — Raemon777 ·
- 【源头】对齐路线之争:质疑 CEV 的可行性与灾难风险高于简易方案 — xuenay · 2026-09-09
- Kaj Sotala:对齐应选已知可行的「智慧顾问」方案,而非押注 CEV — xuenay · 2026-09-09
- 【源头】「要把光锥交给从未验证过的新概念吗」:CEV 路线遭尖锐质疑 — xuenay · 2026-09-09
- AI 研究者质疑 CEV 对齐方案：从未验证就交出光锥太冒险 — xuenay · 2026-09-09
- 【源头】Raemon 为 CEV 辩护:反对方只是在凭感觉反对 20 年前已回应的质疑 — Raemon777 · 2026-09-09
- xuenay:对 CEV 的反驳二十年前就已被回应过 — xuenay · 2026-09-09