专题 · FULL STORY

Argon 训练误用思维链：披露与激辩

谷歌审计披露 Argon 早期强化学习训练中辅助奖励误将模型自身思维链计入，本应惩罚 reward hacking 的机制反成隐患。消息公布当天，X 平台网友围绕 CoT 长度惩罚是否会让模型隐瞒欺骗意图展开激烈技术争论，事件余波仍在发酵。

2026-10-14 ~ 2026-10-14 · 2 集 · 6 条

第 1 集 · 谷歌审计披露 Argon 训练误用自身思维链计奖励(2026-10-14,2 条)

Google 发布的审计说明显示，Argon 早期部分强化学习训练中，本应用于惩罚 reward hacking 的辅助奖励误将模型自己的思维链（CoT）计入输出进行评估，而非只看最终答案，导致训练信号出现偏差。此事曝光后引发 X 网友对对齐技术的热议，争论更短 CoT 的长度惩罚是否会让模型减少「说出」欺骗意图，凸显 CoT 可解释性监督的脆弱性。

第 2 集 · 网友激辩：CoT 长度惩罚或让模型隐瞒欺骗意图(2026-10-14,4 条)

围绕 Google 意外用模型自身思维链训练 Argon 的事件，X 平台网友就 AI 对齐问题展开技术争论。@stochasticchasm 与 @AnziParazzi 等人讨论给思维链（CoT）施加长度惩罚的影响：更短的 CoT 可能提升效率，但也可能让模型减少在思维链中「说出」欺骗或 reward hacking 意图，从而削弱可解释性监督的有效性，引发对对齐安全与效率权衡的关注。