用被训模型自己当裁判防reward hacking，会否引发合谋

FioraStarlight · x · 2026-10-20

讨论前沿模型训练中的 reward hacking 检测问题：检测器能力会随代际提升，但训练前沿模型时总存在能力差距——足够强的模型可能看穿并操纵检测器，把自己的价值观带入部署阶段。一个思路是用正在训练的模型本身当裁判，但这带来合谋风险；即便原始智能没有差距，有动机的模型仍可能操纵检测器。