按下毁灭宇宙按钮该不该？一场关于功利主义与信任的对齐辩论

jd_pressman · x · 2026-10-16

jdpressman 在一场对齐讨论中反驳「按下毁灭宇宙按钮」的功利主义论证。该论证称：如果更好的宇宙存在，其中的存在会感激按下按钮的人，我们的宇宙或许也是这样来的，所以抽象功利意义上可以按。

他指出这一论证的关键缺陷是它并非单边的：按下按钮牵涉现实中所有人的存亡。他进一步提出一个信任判据——如果有人四处宣称「我太想按下那个毁灭宇宙的按钮了，虽然我们都会死，但下一个宇宙会很好」，这样的人不可信任。这段讨论触及了 AI 对齐中长期存在的「宇宙主义式权衡」争议。