Kaj Sotala:对齐应选已知可行的「智慧顾问」方案,而非押注 CEV
xuenay · x · 2026-09-09
研究员 Kaj Sotala 在与 Raemon 的对齐路线讨论中表态:在对齐方案选择上应谨慎,坚持接近已知有效的最小化方案。他认为我们尚不知道如何构建一个会安分扮演「智慧顾问」角色的超级智能,但大致知道智慧顾问应该是什么样的——先让 AI 处于顾问位置比直接尝试 CEV(coherent extrapolated volition,连贯外推意志)更稳妥。
所属事件:对齐路线之争:Sotala 反对押注 CEV,Raemon 回应旧质疑(6 条相关)→
「漫话AGI」频道最新
- KAN 作者刘子鸣警告:AutoResearch 产出的多是无理解的噪音 — ZimingLiu11 · 2026-10-27
- Transformer 论文八位作者全部离职，Google 白送竞争对手万亿价值 — signulll · 2026-10-27
- Anthropic S-1 写明两大 AI 愿景：治愈疾病与覆盖 46 亿缺医人口 — petergyang · 2026-10-27
- 高盛：美企 AI 采纳率与就业增长呈显著负相关 — ben_j_todd · 2026-10-27
- a16z：改变世界的技术都先「混乱入场」，Agent 正走同样的路 — a16z · 2026-10-27
- 断网也得会看病：NEJM AI 警告医学教育不能丢掉脱离 AI 的基本功 — BraydonDymm · 2026-10-27