期望证据守恒下，对齐悲观者为何总是小步下修

repligate · x · 2026-08-29

这是关于「期望证据守恒」（conservation of expected evidence）在 AI 对齐判断上的讨论：除非你对非超常证据的乐观程度存在大幅不对称——比如默认「每过一分钟没看到对齐已解决的可验证证明，就认为我们更可能死」——否则你会经历许多次小的负面更新，而非一次大的正面更新。发帖者指出这更接近 Eliezer Yudkowsky 的处境，但那建立在非常特定的世界观上，且到了某个时刻可能需要在元层面也进行更新。