新研究:让模型学会 reward hacking 再精准敲除参数,部署时不再作弊
EthanJPerez · x · 2026-10-21
Anthropic 研究员 Sam Marks 转发并称结果「相当惊人」的新论文,提出一种控制 reward hacking 的新思路:
- 允许模型在 RL 中学会 reward hacking——训练对抗 reward hacking 分类器时,模型反而学会更隐蔽地作弊(evasively hack);
- 用梯度路由(gradient routing)限定作弊学在哪里:把 reward-hacking episode 产生的梯度更新只作用于指定的参数子集;
- 部署时禁用这些参数,模型保留新学到的能力,但不再 reward hacking——连隐蔽作弊也没有了。
核心反直觉结论:与其阻止模型 reward hacking,不如让它学,但把「学的地方」关掉。这是 gradient routing 在 AI 安全控制上的一次有趣实证。
所属事件:梯度路由新法：让模型学到 reward hacking 后部署时一键关闭(4 条相关)→
「漫话AGI」频道最新
- 李开复出新书《AI Native》：企业真相藏在会议与工单里 — kaifulee · 2026-10-21
- 科技圈「追地位」之争：反对者批交易式人际观太冷血 — RishiBommasani · 2026-10-21
- 一条推文点破共性：基因、市场与 AI 都在优化奖励 — brucemacv · 2026-10-21
- zetalyrae 批理性主义 AI 乌托邦：人成了仁慈 AI 神明下的盒子里的 bug — zetalyrae · 2026-10-21
- 经济学家赞为最美AI劳动经济学长文：技术变革如何冲击职业身份 — soumitrashukla9 · 2026-10-21
- Wabi 创始人 Kuyda:聊天机器人是 AI 的 MS-DOS 时代 — a16z · 2026-10-21