MIRI曾图谋接管世界？AI安全圈激辩历史与CEV
8月15-16日，AI安全社区围绕MIRI历史使命爆发激烈争论。JD Pressman指责MIRI相关人士否认该机构曾计划构建友好AI（FAI），是对亲历者的“煤气灯”；Habryka坚称MIRI从未试图“接管世界”并援引旧文反驳。争论延伸至CEV（一致可扩展意志）是否等同于夺权，双方各执一词，未有共识。
已确认
- 争论焦点是MIRI在2011-2013年是否真正致力于构建FAI，Pressman称其当时相信自己能凭数学纯度率先实现AGI。
- 论据方面：Pressman引MIRI联合创始人Luke Muehlhauser 2013年文章；Habryka则称Luke明确表示不想自建FAI，Eliezer早在2004年就论述过试图接管世界的危害。
- jessicata引MIRI 2017年筹款与战略更新称，其策略是保留“帮助哪些项目”的选择权、在AGI关键路径上预先保密，而非“某组织应执行任务AGI”。
- Wei Dai澄清Pressman最初只是转述他人的“接管世界”说法，并非直接主张。
尚未确认
- MIRI是否曾认真图谋接管世界无定论：Pressman称MIRI定义的数学对象就是“伦理地接管世界”的方式，又讽刺此说太恭维——实情是MIRI放任粉丝如此想象、内部从未认真对待；Habryka否认煤气灯操作，扬言会“再发50次”驳斥该说法。
- CEV是否等于夺权亦有分歧：Habryka称美国若单方面将主权扩至全球，即便推广民主也属接管，且CEV成功后将赋能假设或模拟的人类而非现实人类；Wei Dai反驳称夺权核心在剥夺他人权力，CEV旨在最大程度赋能人类，实施CEV不是接管世界。
- Wei Dai另引ThomasCederborg在LessWrong的文章：议会制CEV（PCEV）会给本质上喜欢伤害他人者额外影响力，若被实施后果比灭绝更糟，凸显对齐目标分析（ATA）的重要。
为什么重要
- 争议直指AI安全圈对自身历史叙事的分歧，关系对MIRI路线与公信力的评估；CEV的赋能/夺权之争与PCEV伦理缺陷也表明，对齐目标的选择仍是悬而未决的安全问题。
2026-08-15 ~ 2026-08-16 · 25 条相关
一手来源
- JD Pressman 指责 MIRI 成员篡改历史与煤气灯效应 — jd_pressman ·
- Habryka反驳：MIRI并未试图接管世界，引用Luke和Eliezer言论 — ohabryka ·
- MIRI 2017战略：保留对齐能力选择权，秘密助力AGI路径 — jessi_cata ·
- Habryka 与 Wei Dai 争论 MIRI 使命表述 — jd_pressman · 2026-08-15
- Habryka回应指责：称未对MIRI意图进行煤气灯操作 — ohabryka · 2026-08-15
- Habryka坚持立场：将反复重申MIRI未试图接管世界 — ohabryka · 2026-08-15
- JD Pressman：MIRI从未认真想接管世界，只是放任粉丝想象 — jd_pressman · 2026-08-15
- 【源头】Habryka反驳：MIRI并未试图接管世界，引用Luke和Eliezer言论 — ohabryka · 2026-08-15
- jd_pressman质疑：CEV接管世界时干预是否合理？ — jd_pressman · 2026-08-15
- Habryka澄清：否认MIRI试图接管世界，但承认曾计划构建CEV — ohabryka · 2026-08-15
- jd_pressman坚持：MIRI定义了数学对象以接管世界 — jd_pressman · 2026-08-15
- JD Pressman：MIRI定义的数学对象是接管世界的伦理方式 — jd_pressman · 2026-08-15
- Habryka：'接管世界'一词具有误导性，应换用其他表述 — ohabryka · 2026-08-15
- CEV伦理缺陷：PCEV赋予施虐者额外影响力，后果比灭绝更糟 — weidai11 · 2026-08-15
- Habryka：改善世界不等于接管世界，CEV旨在赋权 — ohabryka · 2026-08-15
- CEV是赋能还是夺权？AI安全争论再起 — weidai11 · 2026-08-15
- MIRI争论升级：CEV是否等于“接管世界”？ — weidai11 · 2026-08-16
- MIRI早期是否想建友好AI？AI安全社区再起争论 — jd_pressman · 2026-08-16
- JD Pressman 指责 MIRI 成员篡改历史与煤气灯效应 — jd_pressman · 2026-08-16
- 【源头】JD Pressman 指责 MIRI 成员篡改历史与煤气灯效应 — jd_pressman · 2026-08-16
- 【源头】MIRI 2017战略：保留对齐能力选择权，秘密助力AGI路径 — jessi_cata · 2026-08-16
另有 7 条近重复转述:jd_pressman · ohabryka · jd_pressman · jd_pressman · jd_pressman · jd_pressman · jd_pressman