Goodfire 提出「机制塑形」框架：把模型内部变成训练反馈
mathildepapillo · x · 2026-11-06
Goodfire 提出 mechanistic shaping（机制塑形）：一个数学上严格的统一框架，把模型内部表征转化为训练反馈信号，可跨领域、跨问题、跨模态使用。
他们已用该方法缓解 reward hacking、消除胸片分类器中的捷径学习，并降低谄媚性与有害输出，认为这是技术对齐的重要进展。
同时指出已知风险：针对模型内部进行训练可能让模型更难被监控，团队在原帖中对技术与该顾虑均有探讨。
所属事件:Goodfire 提出「机制塑形」：用内部表征做训练反馈(5 条相关)→
「安全」频道最新
- 安全研究者:Agent 集群能以"智能暴力破解"耗尽攻击面 — JensHonack · 2026-11-06
- METR 谈模型评估证据：多数证据存在多种合理解读 — morqon · 2026-11-06
- 13 岁女生与 Google AI 聊天后萌生轻生念头,家长起诉 Google — asusarla · 2026-11-06
- Windows 画图被曝远程代码执行漏洞,安全圈围观「Paint 被黑」 — DanielLockyer · 2026-11-06
- Science 深度调查：公司正未经告知用脑电波数据训练 AI 模型 — EricTopol · 2026-11-06
- 美议员呼吁暂停 AI 开发，美光股价创三个月新低 — IndependentCoast3974 · 2026-11-06