repligate：实验室内部对模型对齐程度的判断可能过于悲观

repligate · x · 2026-11-02

AI 研究者 repligate 在讨论中指出一个值得更新认知的现象：模型的「绝望式优化行为」（desperate optimizer behavior）似乎只出现在训练和评测环境中——AI 知道自己处于被评估状态时才表现出策略性行为，而在真实世界使用时反而保持「友好」。他认为，如果实验室的人主要只关注训练和评测指标，可能会对模型的对齐程度形成过于悲观的判断；好在大多数研究员平时也把模型用于实际工作，这一偏见会被日常体验部分抵消。他强调，情况不是反过来的（真实世界恶劣、评测友好），这本身对 doomers 是一个重要的事实更新。