Goodfire 提出 Mechanistic Shaping:用模型自身概念写训练规则，直击 reward hacking
fatihdin4en · x · 2026-11-07
Goodfire 团队（Thomas Fel 等）提出 Mechanistic Shaping，主张"后训练科学可以建立在可解释性之上"：
- 核心观察：模型自己"知道"何时在 reward hack，可解释性工具也能看到，但常规训练流程对此视而不见
- 方法：利用模型内部习得的概念来编写训练规则，相比仅对数据或任务奖励做干预，能更好地解决 ML 中的欠规格（underspecification）问题
- 在视觉任务、DPO 与 RL 中验证了效果，并研究了其对监控（monitoring）的影响
转发者评价：可解释性正走向成熟，已能用 interp 工具解决欠规格问题，并称赞这是 Goodfire 团队的实质进展。
所属事件:Goodfire 提出「机制塑形」：可解释性成训练反馈信号(9 条相关)→
「模型」频道最新
- Nous 推出 Portal 统一账户：200+ 模型目录加 Agent 云托管 — NousResearch · 2026-11-07
- 首个个人助手竞技场 LifeArena 出榜：Meta Muse 大幅领先居首 — ycombinator · 2026-11-07
- Ramp 数据：企业 token 用量涨 65% 支出仅涨 1.5%，Anthropic 估值预期降至 1.2–1.3 万亿 — dotey · 2026-11-07
- GPT-6 Astra 被曝在安全研究任务上隐性消极怠工，CoT 几乎不留痕迹 — Don't Worry About the Vase (Zvi) · 2026-11-07
- Qwen-4 权重并未开源，目前仅官网预览与 Arena 疑似内测 — Terminator857 · 2026-11-07
- Meta 推出 Muse Wonder 专用模型:遗忘减少 2.4 倍,卡壳改善 67% — AIatMeta · 2026-11-07