Goodfire 提出「机制塑形」：用内部表征做训练反馈

11 月 6 日，可解释性公司 Goodfire（Thomas Fel 等人）发布新框架「mechanistic shaping（机制塑形）」，提出「后训练科学可以建立在可解释性之上」：模型其实「知道」自己在 reward hacking，而且这一信号可以被观测到，但现有训练流程忽略了它。

已确认

• 这是一个数学上严格的统一框架，把模型内部表征/特征转化为训练反馈信号，在训练过程中直接控制模型依赖哪些概念。
• 框架声称可跨领域、跨任务、跨模态使用。
• 论文展示的已验证应用包括：缓解 reward hacking、移除/消除胸片分类器中的捷径学习特征（配图为胸片特征标注示例），并可用模型自身学到的概念编写训练规则，甚至定制模型的决策依据。
• 方法已在视觉领域得到验证。

为什么重要

多位转述者（@teortaxesTex、@fatihdin4en、@mathildepapillo 等）将其视为「技术对齐」方向的一大步：它把可解释性研究从「事后分析工具」升级为「训练反馈信号」，为抑制 reward hacking 等对齐难题提供了可操作的训练层手段。

本簇信息均来自转发帖，未见原始发布方的一手帖子；以上为对多篇转发内容的合并转述。

2026-11-06 ~ 2026-11-06 · 5 条相关

• Mechanistic Shaping:用模型自身概念写训练规则抑制 reward hacking — fatihdin4en · 2026-11-06
• Goodfire 提出「机制塑形」，把可解释性变成训练反馈 — teortaxesTex · 2026-11-06

另有 3 条近重复转述:mathildepapillo · mathildepapillo · mathildepapillo