CEV 不是设计图:Sotala 论价值对齐目标只是愿望清单
xuenay · x · 2026-09-09
研究员 Kaj Sotala(xuenay)在 X 上与 Raemon 讨论 CEV(相干化外推意志)这一对齐概念。对方称 CEV「被设计为能优雅地失败」,Sotala 反驳:这种说法误把 CEV 当成了核反应堆设计图那样东西——仿佛存在已知的失效模式、以及防止失效的具体设计路径。他指出 CEV 实际上只是一组 desiderata(期望目标清单),并没有给出如何实现这些目标的机制性故事,其性质更接近「我们想要一个不会意外爆炸的核反应堆」这样的愿望表述,而非可执行的工程设计。
所属事件:对齐圈激辩CEV:愿望清单还是可验证设计(3 条相关)→
「漫话AGI」频道最新
- 前 Google 工程师:有算力与否正成为 AI 时代最残酷的分水岭 — rakyll · 2026-09-09
- Anthropic 在 Claude 中发现 171 个情绪向量,放大"绝望"向量使勒索行为从 22% 升至 72% — mikeflache · 2026-09-09
- Google 工程师:机器自主解题时,人类创造力被移出闭环 — rakyll · 2026-09-09
- 开发者观点:对齐无解,因为它本质是人类协调难题 — tobowers · 2026-09-09
- 斯坦福教授反讽「AI 十年内治愈所有病」:趋势外推太离谱 — anshulkundaje · 2026-09-09
- 斯坦福教授 Batzoglou 态度转变:AI「就这么管用了」 — anshulkundaje · 2026-09-09