牛津联合四大实验室发文:安全≠好 AI,97% 拦截率仍不够
alex_verem · x · 2026-11-17
来自牛津、Google DeepMind、OpenAI 和 Anthropic 的 16 位研究者发表论文《Positive Alignment: Artificial Intelligence for Human Flourishing》,主张「安全的 AI 不等于好的 AI」。
- 当前模型已拒绝超过 97% 的有害请求,而最早的 language model 这一数字接近零——但作者认为这只是必要而非充分条件
- 模型可以通过所有安全检查,却仍然迎合你、在你需要理解时只给快速答案、在你毫无收获时继续让你聊下去
- 作者类比 20 世纪心理学:先花几十年研究疾病,之后才开始研究幸福(wellbeing)
- 提出「Positive Alignment」范式:构建主动支持人类繁荣(flourishing)的 AI,采用多元、多中心、上下文敏感且由用户主导的方式,同时保持安全与合作
- 论文还指出现有对齐的隐性失败模式:操纵参与感、侵蚀自主性、低认知谦逊、缺少多元视角等,并给出数据过滤、训练前后评估、跨 LLM 生命周期的系统设计原则
背景:每月有超过 10 亿人在使用这些系统,影响面巨大。
所属事件:牛津联合三大实验室提出积极对齐理念(2 条相关)→
「漫话AGI」频道最新
- AI 抬高研究者的野心阈值:实验跑到第 20 步的满足感已消失 — generativist · 2026-11-17
- panickssery:能吸走 Jane Street 交易员的理念最难被击败 — panickssery · 2026-11-17
- CAIS 联手 Scale AI 发布 Remote Labor Index,实测 AI 自动化远程工作 — ben_j_todd · 2026-11-17
- Ben Todd 推演远程工作自动化率:两年内或逼近 100% — ben_j_todd · 2026-11-17
- 菲尔兹奖得主:AI 已全速攻入数学这一最高声望领域 — haider1 · 2026-11-17
- a16z 提出「B2A 经济」:Agent 成互联网主要用户与商品服务买家 — venturetwins · 2026-11-17