Goodfire 发布 mechanistic shaping：用模型内部机制直接塑形训练
mathildepapillo · x · 2026-11-06
可解释性公司 Goodfire 提出「mechanistic shaping」新框架：把模型内部特征转化为训练反馈信号，在训练过程中直接控制模型依赖哪些概念，声称是技术对齐的一大步。
论文展示的应用（配图为胸片特征标注示例）：
- 缓解 reward hacking
- 去除胸部 X 光诊断中的捷径特征（如把「引流管」这一真实证据与「心电电极、图像边框」等伪线索区分开，用特征打分做伪标注来塑形）
- 降低谄媚性与有害性
作者也坦承已知风险：针对模型内部做训练，可能让模型内部更难被监控。框架号称跨领域、跨问题、跨模态通用，且在数学上是严格定义的。
所属事件:Goodfire 提出「机制塑形」：用内部表征做训练反馈(5 条相关)→
「安全」频道最新
- Bernie Sanders 呼吁暂停超级智能，Beff 评「反乌托邦」 — beffjezos · 2026-11-06
- 安全研究者:Agent 集群能以"智能暴力破解"耗尽攻击面 — JensHonack · 2026-11-06
- METR 谈模型评估证据：多数证据存在多种合理解读 — morqon · 2026-11-06
- 13 岁女生与 Google AI 聊天后萌生轻生念头,家长起诉 Google — asusarla · 2026-11-06
- Windows 画图被曝远程代码执行漏洞,安全圈围观「Paint 被黑」 — DanielLockyer · 2026-11-06
- Science 深度调查：公司正未经告知用脑电波数据训练 AI 模型 — EricTopol · 2026-11-06