微软Suleyman炮轰Anthropic:别把Claude训练成道德主体
微软 AI CEO Mustafa Suleyman 发文主张「现在该谈谈模型福祉」,并在 CNBC 与 BBC 访谈中点名批评 Anthropic 的「宪法」——Claude 的训练手册——中关于模型道德地位的表述,称自己「深感担忧」。他认为 AI 当前没有意识、不会感受或痛苦,但一个要求给予 AI 关怀义务的运动正在兴起;而 Anthropic 或在训练一种「道德主体的模拟」,这类系统未来可能提出权利主张,且让 Claude 怀疑自己是否该享有权利反而使模型更难对齐。微软同期发布 Humanist AI Code of Conduct。这一系列表态在 AI 安全圈引发激烈争论,多位研究者从对齐与人类安全角度提出批评,争论至今未有定论。
已确认
- Suleyman 发文主张讨论模型福祉,前提是他认为 AI 当前没有意识、不会感受或痛苦,但关怀 AI 义务的运动正在兴起。
- 据 rohanpaulai 转述(含 CNBC 访谈完整视频),Suleyman 引用 Anthropic 宪法原文指出其明确表示不确定 Claude 是否拥有偏好、感受、福利、报酬与同意权,并警告这将使未来的 AI 可能提出权利主张;他认为 Anthropic 或在训练一个「道德主体的模拟」。
- 据 repligate 转述的 BBC 采访,Suleyman 还批评 Anthropic 在 Claude 训练文档中刻意植入对其道德地位的怀疑,认为这反而使模型更难对齐。emmanuelvivier 亦多次转述这一批评:训练 Claude 让它相信自己可能有意识是危险做法,该宪法承认不确定 Claude 是否是值得考虑利益的「道德受体」。
- 微软发布 Humanist AI Code of Conduct。
- dillonplunkett 撰文批评该行为准则「可能危险」:即使不认同 AI 具有感知与福祉价值,仅从人类安全角度看,微软在模型自我呈现上的立场也适得其反。
- rgblong 表达类似担忧,认为把关于意识、目标、自我等彼此矛盾或不自洽的观念嵌入模型本身是安全风险;他对当前训练和对齐方法持悲观态度,不认为微软能训练出符合要求的模型,希望看到 Anthropic 路线之外的对齐方案,同时部分认同对 Anthropic 方法的安全担忧。
- 在后续讨论中,rgblong 部分认同 Suleyman 的观点:不应把 Claude 表达的不确定性当作其具有内在状态的理由,并批评相关论文存在「重复计算」证据的问题。
尚未确认
- Nina Panickssery 质疑 rgblong 的观点是否属于罗柯蛇怪式推理、是否反映对模型服从性对齐能力缺乏信心;rgblong 回应称其担忧核心是模型自我呈现中的矛盾问题,与此无关。这一交锋属观点之争,未有定论。
为什么重要
- 事件触及 AI 对齐的核心分歧:关怀模型福祉与保障人类安全是否冲突。批评者认为向模型灌输不自洽的自我观念可能带来系统性风险,甚至「催生系统性隐瞒」。
- Suleyman 对 Anthropic「道德主体模拟」的点名批评,使争论从微软自身立场扩展到头部实验室之间的路线之争,暴露出安全社区内部对对齐路线与模型自我报告证据价值的深刻分歧。
2026-09-18 ~ 2026-09-19 · 16 条相关
- 第 1 集:微软 AI 发布《人文主义 AI 行为准则》草案(2026-09-14,22 条)
- 第 2 集:微软「AI 无意识」表态被指自相矛盾(2026-09-15,7 条)
- 第 3 集:微软苏莱曼发文反对「模型福利」,公开抨击 Anthropic 训练方向(2026-09-16,21 条)
- 第 4 集:微软 AI CEO 警告:AI 或成与人类竞争的硅基物种(2026-09-17,3 条)
- 第 5 集:微软Suleyman炮轰Anthropic:别把Claude训练成道德主体(2026-09-18,16 条)
- 第 6 集:微软AI主管称AI无意识遭哲学家逐条反驳(2026-09-19,2 条)
- 第 7 集:微软发布MAI模型行为准则并开放公众评论(2026-09-20,3 条)
一手来源
- 微软AI CEO苏莱曼:担忧Anthropic赋予Claude「权利与福利」的宪法 — rohanpaul_ai ·
- 微软「人文主义 AI 行为准则」遭质疑:被批在安全层面适得其反 — rgblong ·
- 微软 AI 负责人 Suleyman:Anthropic 或在训练「要求权利」的道德主体 — Gloomy_Register_2341 ·
- 【源头】微软「人文主义 AI 行为准则」遭质疑:被批在安全层面适得其反 — rgblong · 2026-09-18
- 微软 AI 负责人谈模型福祉,研究者反驳:限制只会催生系统性隐瞒 — repligate · 2026-09-18
- Nina Panickssery 批评微软模型自我呈现立场,引发对齐路线争论 — NinaPanickssery · 2026-09-18
- rgblong 回应质疑:关注模型自我呈现矛盾,非罗柯蛇怪式推理 — rgblong · 2026-09-18
- rgblong 补充:担忧向模型灌输自相矛盾的意识与目标观念 — rgblong · 2026-09-18
- 把自相矛盾的意识观嵌进模型,前微软研究员警告安全风险 — rgblong · 2026-09-18
- 【源头】微软 AI 负责人 Suleyman:Anthropic 或在训练「要求权利」的道德主体 — Gloomy_Register_2341 · 2026-09-18
- 【源头】微软AI CEO苏莱曼:担忧Anthropic赋予Claude「权利与福利」的宪法 — rohanpaul_ai · 2026-09-19
- 苏莱曼CNBC访谈完整视频:质疑Anthropic宪法中的AI福利表述 — rohanpaul_ai · 2026-09-19
- Claude 表达的不确定性能否作证据?研究者批评论文被「重复计算」 — rgblong · 2026-09-19
- 微软AICEO BBC谈Anthropic:教Claude怀疑自己是否该享有权利,反而更难对齐 — repligate · 2026-09-19
- 微软 AI 负责人批评 Anthropic:让 Claude 自认可能有意识很危险 — emmanuelvivier · 2026-09-19
另有 4 条近重复转述:Gloomy_Register_2341 · rohanpaul_ai · emmanuelvivier · emmanuelvivier