Goodfire谈训练中探针监测
teortaxesTex · x · 2026-07-16
GoodfireAI 提醒：在做解释性/监测类 probe 时，实验设置要非常谨慎，否则容易影响结论有效性。 他们的做法是在训练过程中，对**冻结的模型副本**运行 probes，而不是直接在正在训练的 student 上跑。这样可以在扩展训练时，避免 student 学会“躲避监测”。 他们还表示，实证上这种方式**即使在训练后的模型上也不会造成退化**，并给出了一篇更详细的讨论文章。
teortaxesTex · x · 2026-07-16
GoodfireAI 提醒：在做解释性/监测类 probe 时，实验设置要非常谨慎，否则容易影响结论有效性。 他们的做法是在训练过程中，对**冻结的模型副本**运行 probes，而不是直接在正在训练的 student 上跑。这样可以在扩展训练时，避免 student 学会“躲避监测”。 他们还表示，实证上这种方式**即使在训练后的模型上也不会造成退化**，并给出了一篇更详细的讨论文章。