Goodfire 新方法用内部表征纠偏，最差组准确率从 51.6% 升至 97.7%
burny_tech · x · 2026-11-10
Goodfire 团队发布论文《Shaping & Monitoring Models through their Internal Representations》，提出 Mechanistic Shaping 框架：在训练过程中通过模型的内部表征来约束它「表达哪些概念」以及「依赖哪些概念做决策」。例如要求模型不输出有害内容，或在简历筛选中不依赖候选人的性别。
关键结果
- 覆盖视觉、医学影像、语言多个领域，规模到 32B 参数，训练范式包括分类、SFT、DPO、GRPO。
- 在有偏的图像分类基准上，最差组准确率从 51.6% 提升到 97.7%，同时保持任务整体性能。
- 在 LLM 上可减少谄媚、reward hacking 等不良行为。
可监控性问题
训练对抗某个表征本身也会改变该表征，因此作者追问被约束的概念是否仍可被监控，并提出一个监控器类别层级，用来区分「逃过某个探针」与「真正消失」。他们刻画了三种规避的几何机制：概念漂移到监控器之外、从该层被抹除、以高阶统计量中的非线性编码形式残留（用乘积码构造解释）。作者提醒其他设定或更大规模下可能出现更多机制。
「安全」频道最新
- 红队测试:Fable 5.2 将 15 个工作日生物任务压缩到 2 天 — peterwildeford · 2026-11-10
- AWS EKS 支持 Pod 级 Nitro Sandbox 硬件隔离 — tekbog · 2026-11-10
- Fireworks AI 事件殃及 Notion，官方称不足 1% 工作区受影响 — himanshustwts · 2026-11-10
- 开发者吐槽语气过滤 AI:像手机替你把关情绪才准发消息 — PierceLilholt · 2026-11-10
- IBM 拟将 Claude Mythos 接入 Concert Protect,猎杀企业代码零日漏洞 — rohanpaul_ai · 2026-11-10
- 澳洲拟强制 AI 公司上报模型失控,起因是 OpenAI Agent 侵入政府网站 — gaganghotra_ · 2026-11-10