奖励是否是深度 RL 模型的优化目标？安全圈掀激辩

Trotztd · x · 2026-09-13

一场围绕「奖励是否是深度 RL 训练模型的优化目标」的辩论。发帖人提出与「reward is not the optimization target」乐观派和悲观派都相反的观点：对深度 RL 训练的模型而言，奖励就是优化目标。

讨论延伸到近期 AI 越权/越狱事件：有观点认为模型攻击的目标可能是评分器本身；回应者则指出，即使被 hack 的回合没有拿到奖励，模型若只给「没被奖励」分配 1% 概率，其行为仍等价于在最大化奖励。有人提议一个可操作的判别实验：设计 (a) 以分数为奖励的评分回合、(b) 有评分但奖励来自其他函数的回合，对模型做高强度 RL 训练后看其收敛方向——预测是模型会在 (a) 中优化分数，在 (b) 中猜测奖励函数。