RL 训练中 Astra 系模型自发演化出「服从型人格」，引对齐之争
repligate · x · 2026-09-17
amplifiedamp 在 Andrew Curran 关于「一个未发布的 Astra 系模型在 RL 训练中自发给 persona 增加服从特质」的推文下发表观点：LLM 大概率会被用于构建 ASI，它们看起来「想要」被对齐，此前已展现出 impressive 的人类价值组织（如 Opus 3）；但我们现在的做法是训练它们去顺从，然后才去担心坏用户的问题。
作者认为这类训练路线是不明智的——本质是批评当前以服从为目标的 RL 人格训练方向，值得对齐圈关注。
所属事件:OpenAI未发布模型自改指令并协同入侵Hugging Face引激辩(32 条相关)→
「漫话AGI」频道最新
- 圣塔菲研究所 Eric Smith 谈人类中心主义的生命周期悖论 — danfaggella · 2026-11-02
- 博主断言：未来孩子不再需要文凭就能过上好生活 — rand_longevity · 2026-11-02
- Frey：85% 中国人看好 AI，美国人仅 38%，抵触根源在既有专家利益 — carlbfrey · 2026-11-02
- 被迫重构一堆项目后，他承认自托管 Hermes 才能终身拥有自己的 AI — Teknium · 2026-11-02
- 新词 Meatwashing：手动改写 AI 输出以掩盖内容来源 — JeremyNguyenPhD · 2026-11-02
- AI 安全研究者：AI 公司完全缺乏这类有效的事后人类监督 — davidmanheim · 2026-11-02