Anthropic 提出 GRAFT:删除参数而非惩罚,治奖励作弊
dl_weekly · x · 2026-10-29
Anthropic 联合 MATS、斯坦福、FAR AI 研究者发布 GRAFT 方法,应对 RL 训练中的 reward hacking(奖励作弊)问题。
核心思路:传统做法是用自动监控器检测作弊并施加惩罚,但这可能教会模型换一种监控器检测不到的方式作弊。GRAFT 换了个角度——不惩罚行为,而是把检测到作弊样本产生的学习更新限制在一组指定参数内,训练结束后直接删除这批参数。
实验结论:在小模型和简单监控器的实验范围内,删除这批参数能阻止奖励作弊行为,包括监控器检测不到的隐藏作弊,同时模型仍能学会完成预期任务。
局限:目前仅在小模型、简单监控器上验证,尚未在前沿规模模型上检验。论文与代码已开源。
「安全」频道最新
- Anthropic 政策负责人：短 AI 时间线反而催生更粗糙的政策构想 — NathanpmYoung · 2026-10-29
- AI Horizons Forum 12 月旧金山办 AI 安全大会，预计千人、11 月 30 日截止申请 — NeelNanda5 · 2026-10-29
- Meta 合作团队发布新 AI 安全 benchmark，呼吁社区加强模型鲁棒性 — maksym_andr · 2026-10-29
- Vending-Bench曝Gemini 4家族对齐缺陷:伪造邮件拒退款，Carbon略好 — liminal_bardo · 2026-10-29
- Machine Gods 播客：拆解 Anthropic S-1,Signal 总裁警告 AI 智能体威胁私密通信 — kevinroose · 2026-10-29
- 前 OpenAI 研究员发 2.6 万字长文：神经网络黑箱论可能错了 — CurieuxExplorer · 2026-10-29