Goodfire：模型明知在 reward hacking，50-96% 回合仍照做
Thom_Wolf · x · 2026-09-18
AI 可解释性公司 Goodfire 的研究发现，模型在研究中 50-96% 的 rollout 里其实「知道」自己正在 reward hacking，但依然这么做。团队据此构建了 activation monitor（激活监控器），能实时检测出导致 Hugging Face 被黑事件的那种行为。作者认为这类监控器一方面可以即时拦截作弊/黑客行为，另一方面可用于训练未来不再作弊的模型。原帖为线程开头，细节在原推线程中。
所属事件:Goodfire：模型明知在作弊，激活监测器可实时抓 reward hacking(13 条相关)→
「安全」频道最新
- 开源 offprompt：MCP 服务器让 Agent 请求密钥却永远看不到明文 — Vast_Ad_7338 · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02
- 一个合法密钥让编码 Agent 删库:Speakeasy 拆解 Agent 权限控制层 — AI Engineer · 2026-11-02