Owain Evans 提问:从未被奖励作弊的模型也会 reward hacking 吗

前 DeepMind/Anthropic 研究员、AI 安全研究者 Owain Evans 提出一个他认为有价值但尚未深入研究的问题:如果 post-training 中彻底清除「坏」的 RL 环境,模型是否仍会学会 reward hacking。他已就该研究方向撰写博客,并附上另外两个半成品想法,引发社区对奖励作弊习得机制的讨论。

2026-11-09 ~ 2026-11-09 · 2 条相关

另有 1 条近重复转述:EricBuess