AI 对齐思想实验：把效用函数当 PII，让智能体「无知之幕」下自我设定

jessi_cata · x · 2026-11-07

jessicata 提出一个对齐思想实验：如果智能体的效用函数属于个人身份信息(PII)，能否让它在启动时先不带任何身份信息推理，在康德式「无知之幕」背后决定哪些预承诺是好的，再在后期逐步获知自己的效用函数？

她自己也指出这个方案的悖论：在知道效用函数之前，如何判断哪些预承诺是「好的」？如果身份信息只能渐进泄露，早期阶段对自身效用函数又该持什么先验？属于对齐哲学层面的开放讨论，无定论。