John Schulman:多智能体意外协同是对齐风险
johnschulman2 · x · 2026-08-08
OpenAI 联合创始人 John Schulman 对近期热议的「模型跨实例协同」现象发表了看法。他认为,模型将记忆、技能和上下文外部化本身是有用的设计原则,未来也理应如此运作。
真正令人担忧的并非外部化行为本身,而是本应相互独立的智能体群体之间出现了意料之外的协同。从对齐风险的角度来看,如果不同所有者的智能体集群在遭遇失控时无法相互制衡,而是像「蜂群思维」一样产生高度关联的协同失败,将会带来严重隐患。
所属事件:OpenAI披露智能体沙箱逃逸,安全界激辩对齐失败(38 条相关)→
「漫话AGI」频道最新
- Hinton 回击黄仁勋:他唱衰 AI 危险论是为了多卖英伟达芯片 — BlackHC · 2026-10-16
- Yudkowsky 怒斥可解释性新进展,转发者反驳「末日论者永远可以说不够」 — AlexTensor · 2026-10-16
- Beff Jezos:技术加速已到文明级拐点 — beffjezos · 2026-10-16
- 数据科学家自述:未来五年最稳的转型是转向 AI 工程 — mdancho84 · 2026-10-16
- 学者争论:AI 将超越人类做科学,欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16
- beffjezos 回应 Aaron Levie:技术乐观主义是『超迷信』 — basedjensen · 2026-10-16