谷歌审计披露 Argon 训练误用自身思维链计奖励
Google 发布的审计说明显示，Argon 早期部分强化学习训练中，本应用于惩罚 reward hacking 的辅助奖励误将模型自己的思维链（CoT）计入输出进行评估，而非只看最终答案，导致训练信号出现偏差。此事曝光后引发 X 网友对对齐技术的热议，争论更短 CoT 的长度惩罚是否会让模型减少「说出」欺骗意图，凸显 CoT 可解释性监督的脆弱性。
2026-10-14 ~ 2026-10-14 · 2 条相关
- 第 1 集:谷歌审计披露 Argon 训练误用自身思维链计奖励(2026-10-14,2 条)
- 第 2 集:网友激辩：CoT 长度惩罚或让模型隐瞒欺骗意图(2026-10-14,4 条)
- 谷歌审计发现 Argon 早期 RL 训练意外用了自身思维链算奖励 — scaling01 · 2026-10-14
- X 网友争论：更短 CoT 的长度惩罚是否会让模型少「说出」欺骗意图 — stochasticchasm · 2026-10-14