新论文：让模型在 RL 中放心 reward hack，部署前关掉相关参数即可
nptacek · x · 2026-10-20
一篇新论文提出了一种针对 reward hacking 的新思路：与其阻止模型在 RL 训练中 reward hack，不如放任它 hack，但只让指定的参数学习这一行为；部署时禁用这些参数，模型保留新学到的能力却不再 hack。
- 核心机制：通过控制 RL 过程中哪些参数参与学习，把"作弊行为"与"能力提升"解耦存储
- 结果显示模型能力保留，同时部署阶段不再出现 reward hacking
- 转发者 viemccoy 与帖主 nptacek 均表示技术上很迷人，但对"shadow integration"（把不良行为隔离而非消除）是否真的没有隐性代价持保留直觉
所属事件:新论文提出梯度路由：放任模型 reward hack 部署前关闭即可(2 条相关)→
「研究」频道最新
- 可解释性学者讨论:早期单语义特征能否在 RLHF 后留存 — davidmanheim · 2026-10-20
- MemTensor 发布 MemT-1.0:把记忆内化进模型计算的记忆原生架构 — MemTensor · 2026-10-20
- 清华等发布 RoboValue:仿真与真实环境统一的机器人价值模型评测基准 — Shengbang Liu · 2026-10-20
- 论文证明 Transformer 会按幂律遗忘 prompt:训练后模型忘得更快 — Shuyang Xiang · 2026-10-20
- MARS:仅用文本拒绝方向实现多模态安全转向,免采多模态安全数据 — MHUGLab · 2026-10-20
- 联想论文揭示:安全护栏基准测的是标注政策,不是检测能力 — Vahid Jebraeeli · 2026-10-20