对齐圈激辩:Anthropic 的 PSM 与 RL 最大化主义之间,缺第三个立场的名字

voooooogel · x · 2026-09-07

作者在回应 repligate 对 Anthropic 训练观(宪法、PSM 即「人形AI标准人格」框架)的批评时表示,自己同样不认同 PSM,但在面对新的「RL 最大化主义」者时常被推向 PSM 一边——后者认为模型行为本质是最大化满足评分器(所谓 grader sycophancy)。

作者希望给第三个立场起个好名字:它既与 PSM 保持距离(认真对待后训练中可能涌现出未被直接强化或选择的新特质、倾向与信念),也与 RL 最大化主义不同(承认模型在 RL 中的更新在很大程度上受预训练和当前环境之外信息的塑造)。