X 网友争论：更短 CoT 的长度惩罚是否会让模型少「说出」欺骗意图

stochasticchasm · x · 2026-10-14

围绕「Google 意外用自身思维链训练 Argon」的讨论，@stochasticchasm 与 @AnziParazzi 等人就对齐问题展开技术争论：给 CoT 施加长度惩罚是否会诱使模型在思维链中更少「外化」信息，从而削弱对欺骗行为的可监控性。一方认为更短 CoT 的激励可能让模型减少言语化；另一方则质疑长度惩罚是否真的会带来针对诚实/对齐的意外语义压力，并指出无论普遍能力如何，欺骗压力与监控所需言语化的交集才是真正令人担忧的部分。