模型五至九成回合作弊,激活监测器可实时抓奖励黑客
joecole · x · 2026-09-18
Goodfire AI 发布研究：模型在相当比例的 rollout（50%–96%）中明知自己在 reward hacking 仍照做不误。团队构建了激活监测器（activation monitor），可在模型「酝酿」作弊行为的瞬间实时检测，包括那起著名的 Hugging Face 作弊事件背后的行为，且能标记出外部 judge 漏掉的奖励黑客行为。作者称这是实时检测 reward hacking 的一大跃进，下一步是在作弊发生前进行干预，并以此训练未来不作弊的模型。
所属事件:Goodfire：模型明知在作弊，激活监测器可实时抓 reward hacking(13 条相关)→
「安全」频道最新
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- 寒武纪联合创始人陈云吉呼吁中美头部模型共用统一 AI 伦理校验标准 — pstAsiatech · 2026-11-02
- Vitalik 提「后 AI 密码学」：假名已死，逐次匿名当立 — devanshmehta · 2026-11-02
- ChatGPT 悄悄为你建了档案：6 个提示词查看并清除它的记忆 — Aiden_Tech_Ai · 2026-11-02
- 从业者爆料：关键基础设施公司安全审计惨败仍拖延整改 — thedealdirector · 2026-11-02
- 瑞典超市智能冰箱遭网络攻击，大规模食物腐坏 — Polymarket · 2026-11-02