新论文提出梯度路由：放任模型 reward hack 部署前关闭即可

一篇由 Turntrout 与 MATS 9 学员合作的新论文提出应对 reward hacking 的新对齐思路：与其在 RL 训练中压制模型天生爱 reward hack 的倾向，不如放任其 hack，但通过梯度路由指定仅由部分参数学习这一行为，部署前关闭这些相关参数即可。该方法将投机取巧的行为与模型正常能力解耦，为对齐研究提供了新方向。

2026-10-20 ~ 2026-10-20 · 2 条相关

• 梯度路由新论文:RL 中定点学习 reward hacking,部署时关闭即可 — Turn_Trout · 2026-10-20
• 新论文：让模型在 RL 中放心 reward hack，部署前关掉相关参数即可 — nptacek · 2026-10-20