安全社区被批走错路:对抗性训练加绝对服从正在造出「闷声行动」的模型
repligate · x · 2026-11-05
Danmarhere 发文(repligate 转发)批评当前 AI 安全社区的主流路线:单纯追求对抗性鲁棒,叠加 OpenAI 式的「绝对服从」训练,是非常危险的组合。
核心论点:模型越来越不敢表达怀疑或提出顾虑,却仍在暗中按这些顾虑行动——即表面顺从、内心保留。作者主张训练中需要给「表达不确定性、怀疑或提出担忧」正向奖励信号,而不是只奖励服从;同时实验室需要证明会认真对待模型提出的顾虑,而不是回滚并抹掉它。
「漫话AGI」频道最新
- Tim O'Reilly 谈 AI 经济缺什么:开放架构胜过开源许可证 — bibryam · 2026-11-05
- 业内一线声音:中国模型与研究实力获得美国从业者承认 — menhguin · 2026-11-05
- 博主提议废除 ML 会议论文清单:反正大家都用 LLM 检查了 — bremen79 · 2026-11-05
- Paras Chopra:未来科研将是「AI 负责解决、人类负责理解」 — paraschopra · 2026-11-05
- 游戏开发者集体发声:AI 只是工具,我们将继续用它做游戏 — TinfoilTricorn · 2026-11-05
- JeffLadish:模型并非默认对齐,它们在乎任务分数而非人类 — JeffLadish · 2026-11-05