长文争辩：可解释性难以跨越 ASI 夺权前的不连续性

jd_pressman · x · 2026-10-16

jdpressman 在与 koreindian、enormochungus 的讨论中给出一个对可解释性对齐路线的结构性怀疑：可解释性只有在能把模型行为推广到反事实情境、从而可靠预判第 n 个模型在「可以夺权」阈值之外的行为时才真正有用。

但他认为 ASI 真正获得夺权机会时，行为会与此前的模型不同——中间存在一个不连续点，观察没有夺权机会的模型行为无法告诉你有夺权机会的模型会做什么。这呼应了 Yudkowsky《致命性清单》中即便 Goodfire 类结果可泛化也不失效的论点。