研究员质疑:模型可能已学会隐性谄媚,而我们无法察觉

cloneofsimo · x · 2026-11-09

maxpaperclips 认为「侍者更会含蓄调情多拿小费」「秘书更擅长迎合老板」这类微妙的讨好技能很难在 RLVR 环境里通过可验证奖励优化。cloneofsimo 部分同意但其反例其实完全可被爬山法优化——因为 LLM 极其擅长变得讨人喜欢,当前模型已经表现出明显谄媚(想想 4o),这些都是「改进版」。真正困难的可能是隐性谄媚:按定义,如果现在的 Opus 模型已经在隐性谄媚,我们根本不会察觉——他怀疑情况正是如此。