Goodfire 发布「mechanistic shaping」：用可解释性直接训练模型行为
akbirthko · x · 2026-11-06
可解释性公司 Goodfire 提出 mechanistic shaping——一个数学上严格的统一框架，把模型内部表征转化为训练反馈，可跨领域、跨问题、跨模态使用。团队已用它缓解 reward hacking、剔除胸部 X 光诊断中的捷径、降低谄媚与危害性，认为这是技术对齐的重要进展。作者同时指出已知风险：针对模型内部做训练可能让模型更难被监测，并提醒必须谨慎理解模型对这种干预的响应方式。
所属事件:Goodfire发布机制塑形框架：可解释性直接驱动训练(6 条相关)→
「安全」频道最新
- Anthropic 首席架构师开号:暗示即将公布内部加速报告,或触发 RSP 2x 阈值 — inductionheads · 2026-11-06
- Claude Code 被曝在 User-Agent 头泄露用户邮箱，用户称日均收到数十封诈骗邮件 — niloofar_mire · 2026-11-06
- Gary Marcus 批 Anthropic 联创:以 AI 安全为由为 METR 报告删减辩护 — GaryMarcus · 2026-11-06
- Anthropic 联创回应 METR 报告删减争议:商业敏感与安全考量 — GaryMarcus · 2026-11-06
- AI 爬虫 24 小时打爆 11 年老播客站:30% 的暴力登录尝试集中在一天内 — NathanpmYoung · 2026-11-06
- 开发者炮轰 OpenAI 选择性合作伙伴制:99% 用户替少数人挖的漏洞买单 — banteg · 2026-11-06