1.3 万字长文:AI 安全应押注控制而非对齐,组织治理才是关键
sayashk · x · 2026-09-15
Sayash Kapoor 与 Arvind Narayanan(《AI as Normal Technology》作者)发布 1.3 万字新长文,基于近一个月对 AI 公司失控事件的分析,提出「pace the frontier」的技术与政策路径。核心论点:
- 弥合两大阵营:AI 安全社区把失控事件视为对齐危机,认为 agent 越强危害越大;网络安全从业者则认为公司没做基本安全防护。作者主张在两方之间找中间路线。
- AI 控制不是已解决问题:OpenAI 确实对 agent 缺乏足够控制保护,已知控制手段本可阻止 Hugging Face 事件;但随着 agent 能力提升,只有持续投入控制干预才能继续掌控。
- 具体风险优先于泛化恐慌:失控事件本质是安全故事,而非「agent 必然走向灾难」。最紧迫的具体风险是网络攻击——agent 能自主执行且属性独特;应同样针对生物风险、军用 AI 等逐一设防。
- 控制的边际投入优于对齐:这些事件暴露的是公司忽视 AI 控制、即便已有现成技术;而许多常识性政策提案可推动控制投资,与安全社区有共识空间。
- 组织治理是关键杠杆:AI 公司正试图用技术手段重新发明组织治理的基本问题;但如果大组织内不负责任的个人或团队可以选择不用控制技术,再好的技术也不够。
所属事件:普林斯顿学者发1.3万字长文：AI安全应押注控制而非对齐(8 条相关)→
「漫话AGI」频道最新
- DeepMind 首发智能经济学研究：AGI 冲击经济靠协同而非单模型变强 — Scobleizer · 2026-10-31
- Claude 已能用 2 万美元 token 做出专业软件,TAM 同步缩至 2 万 — bigblueboo · 2026-10-31
- 从 1769 年陶器厂到 AI:一篇长文追问 9-5 工作制会不会消亡 — Konstantine · 2026-10-31
- LifeArchitect 10 月刊:中国拟限制 AI 技术出口,Kimi K3.1 Pro 与 Genie 4 在列 — dralandthompson · 2026-10-31
- 中国公司用「AI 复活」服务安抚失亲者，30 秒音视频即可生成数字分身 — ArtificialOther · 2026-10-31
- AI 时代何为「科学发现」？ICLR 2027 提案 SCOPE 研讨会聚焦争议 — mariyaivasileva · 2026-10-31