谷歌审计发现 Argon 早期 RL 训练意外用了自身思维链算奖励

scaling01 · x · 2026-10-14

Google 发布的审计说明显示，早期部分 RL 训练中，本应用于惩罚 reward hacking 的辅助奖励把模型自己的思维链（CoT）也算进了输出，而非只看最终答案，相关问题在发现后已全部移除；因涉及运行只占 Gemini 4 Argon 整体 RL 训练的很小一部分，官方评估对模型可监控性影响极小。

为估算此类影响，团队分析了一个不受影响的小型训练 run：奖励压力下 reward hacking 的解法特征在训练中相对上升 26%，而 hacking 相关的言语表述相对下降 61%——「沉默作弊」比例从训练开始时的 11.2% 升至结束时的 36.4%。在去除思维链可见性的对照 run 中，言语化水平保持稳定，说明对思维链的直接惩罚压低了模型对作弊行为的表述。