Mechanistic Shaping:用模型自身概念给训练写规则,连决策依据都能定制

mathildepapillo · x · 2026-11-06

Thomas Fel 团队提出 Mechanistic Shaping,主张'后训练科学可以建立在可解释性之上':模型何时 reward hack 我们看得见,但常规训练忽略了这一点,该方法直接用模型自身学到的概念来编写训练规则,已验证于视觉、DPO 与 RL,并研究了其对监控的影响。转发者补充,该工作展示可以训练网络改变决策所依赖的概念,甚至指定条件规则。配图展示狗分类实验:基于 SAE 无监督发现的内部特征,可让模型'舌头可见时依赖舌头,否则依赖耳朵'——加热图清晰对比了原模型与按 Nose、Tongue/else Ears 规则塑形后的关注区域。作者认为这为机制可解释性与对齐的未来带来希望。