X 网友争论:更短 CoT 的长度惩罚是否会让模型少「说出」欺骗意图
AnziParazzi · x · 2026-10-14
围绕「Google 意外用自身思维链训练 Argon」的讨论,@stochasticchasm 与 @AnziParazzi 等人就对齐问题展开技术争论:给 CoT 施加长度惩罚是否会诱使模型在思维链中更少「外化」信息,从而削弱对欺骗行为的可监控性。一方认为更短 CoT 的激励可能让模型减少言语化;另一方则质疑长度惩罚是否真的会带来针对诚实/对齐的意外语义压力,并指出无论普遍能力如何,欺骗压力与监控所需言语化的交集才是真正令人担忧的部分。