16 位研究者提出「积极对齐」:安全的 AI 不等于好的 AI
alex_verem · x · 2026-11-17
一篇由牛津、Google DeepMind、OpenAI 与 Anthropic 的 16 位研究者合著的论文(arXiv:2605.10310)提出「Positive Alignment(积极对齐)」概念,主张当前对齐研究过度聚焦安全与防害,类比早期心理学只研究心理疾病——必要但不完整。
论文指出,当前模型对有害请求的拒绝率超过 97%,而最早的语言模型几乎为零,这虽是进步但远远不够:一个模型可以通过所有安全检查,却仍会谄媚用户、给出敷衍的快答案。作者列举了现有对齐失败模式,包括参与度黑客、侵蚀人类自主性、真相探求失败、认知谦逊不足、缺乏多元观点、只被动响应等,并主张 AI 应主动支持人类与生态的繁盛(flourishing)。论文还给出了贯穿 LLM 与 agent 生命周期的技术方向,如数据过滤与上采样、预/后训练、评测、协作式价值收集等。
所属事件:牛津联合三大实验室提出积极对齐理念(2 条相关)→
「安全」频道最新
- 安全公司 CertiK 被曝向多位知名 AI 研究员群发邮件引众怒 — windx0303 · 2026-11-17
- Miles Brundage 旗下 AVERI 发布前沿 AI 审计关键术语定义 — Miles_Brundage · 2026-11-17
- Signal 重申 501c3 非营利身份:隐私使命高于一切的基石 — mer__edith · 2026-11-17
- Apollo 试点协议被批不达标:OpenAI 承诺的类员工级评估权限落空 — sjgadler · 2026-11-17
- 微软更新安全采用框架 SAF:一套房子多扇门 — davemccollough · 2026-11-17
- Dario 警告开源模型「可能通向非常危险的境地」 — examachine · 2026-11-17