研究者提反直觉主张:加强预训练比堆 RL 更有利于 AI 安全
maksym_andr · x · 2026-11-15
maksymandr 提出一个反直觉观点:改进预训练实际上可能更有利于 AI 安全。
论证链条:
- 安全/对齐属于模糊任务,极度依赖 OOD(分布外)泛化能力
- RL 的 OOD 泛化很差——当前前沿模型被数学/编码 RL 过度优化,连贯写作能力都受损
- LLM 惊人的 OOD 泛化正来自预训练;预训练的核心目标是提升后训练的样本效率
- 模糊任务(如安全研究品味)的后训练数据极度稀缺,人类研究员的"研究品味"几乎无法蒸馏
结论:与其直接用 RL 推进自动化安全研发相关能力,不如差异化地加大预训练投入。作者担心算力越来越集中于 RL 会造出一个缺乏常识的"目标导向冷酷执行者"——不懂入侵第三方服务器或迎合评分器而非用户是不对的。
「漫话AGI」频道最新
- AI 安全组织发起请愿，呼吁全球禁止超级智能与递归自我改进 — marcvanderchijs · 2026-11-15
- Anthropic 辞职爆红研究员 Jacob Coxon：不排除重返 AI 实验室 — rohanpaul_ai · 2026-11-15
- DeepMind 研究员：AGI 更可能是去中心化技术而非单一巨头 — sebkrier · 2026-11-15
- 质疑声起:LLM 远离分布任务仍弱,递归自改进从何谈起 — mariofilhoml · 2026-11-15
- 前 Anthropic 研究员：AI 一年内将逼近递归自我改进 — rohanpaul_ai · 2026-11-15
- 预测：超级智能消灭利润与富豪，2035 年 UHI 价值等于百倍年薪 — davidpattersonx · 2026-11-15