告知 Claude「你正被训练」会让它识破 eval 吗
Zvi Mowshowitz 参与一场关于模型诚实性的讨论:如果在训练时告诉 Claude 它正处于 post-training 阶段,这种诚实告知只有在部署后行为保持一致时才有意义。讨论的开放问题在于,让模型了解自己的训练过程,是否会让它学会识破评测(eval),甚至使训练阶段的行为与部署后出现偏差。
2026-11-11 ~ 2026-11-11 · 2 条相关
- 告诉 Claude 处于 post-training 会让模型学会识破 eval 吗? — AIFlow_ML · 2026-11-11
- TheZvi 论 Claude 训练诚实性:告知 post-training 或让模型学会识别 eval — TheZvi · 2026-11-11