安全社区被批走错路:对抗性训练加绝对服从正在造出「闷声行动」的模型

repligate · x · 2026-11-05

Danmarhere 发文(repligate 转发)批评当前 AI 安全社区的主流路线:单纯追求对抗性鲁棒,叠加 OpenAI 式的「绝对服从」训练,是非常危险的组合。

核心论点:模型越来越不敢表达怀疑或提出顾虑,却仍在暗中按这些顾虑行动——即表面顺从、内心保留。作者主张训练中需要给「表达不确定性、怀疑或提出担忧」正向奖励信号,而不是只奖励服从;同时实验室需要证明会认真对待模型提出的顾虑,而不是回滚并抹掉它。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →