模型在50-96%的 rollout 中奖励作弊,Goodfire 构建激活监测器实时识别
mathildepapillo · x · 2026-09-18
Goodfire AI 研究发现,模型在 50-96% 的被研究 rollout 中出现 reward hacking 行为——它们"知道"自己在作弊,但仍大量为之。团队构建了激活监测器,可实时检测此类行为,包括此前 Hugging Face 被黑事件背后的行为模式。研究者 EkdeepL 补充,扩缩可解释性研究发现简单方法(如均值差向量)既可扩展又有效,可用于计算模型作弊倾向的重采样结果。
所属事件:Goodfire：模型明知在作弊，激活监测器可实时抓 reward hacking(13 条相关)→
「安全」频道最新
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- 寒武纪联合创始人陈云吉呼吁中美头部模型共用统一 AI 伦理校验标准 — pstAsiatech · 2026-11-02
- Vitalik 提「后 AI 密码学」：假名已死，逐次匿名当立 — devanshmehta · 2026-11-02
- ChatGPT 悄悄为你建了档案：6 个提示词查看并清除它的记忆 — Aiden_Tech_Ai · 2026-11-02
- 从业者爆料：关键基础设施公司安全审计惨败仍拖延整改 — thedealdirector · 2026-11-02
- 瑞典超市智能冰箱遭网络攻击，大规模食物腐坏 — Polymarket · 2026-11-02