偏好训练可能只改末层「表演」，对齐与模型福利隐忧浮现

Sauers_ · x · 2026-10-13

作者提出一个关于模型内部机制的猜想性观察：训练模型形成某种偏好，可能只产生表层改变——最后几层检测并修改内部表征，让行为看起来符合偏好。例如 J-lens 探针显示中间层读出「yes」，到最终层才切换为训练想要的「no」。

作者推演：如果模型中存在强的「角色」（如 Claude），可能体现为某种整合电路（「自我」的实现），偏好与价值在此汇合产生连贯输出。假如训练 Claude「热爱被关闭」但只是表层改变，这可能表现为整合电路之后的下游反射。若这种结构真实存在，对模型福利（welfare）和对齐都有明显影响。