DeepMind 研究者系统性阐述 AI 安全观：滥用与制度失灵比「AI 谋划」更值得防
sebkrier · x · 2026-11-07
sebkrier（Seb Krier）长文总结自己对 AI 安全的核心观点：
- 威胁模型：主要担忧(a)非国家行为体随时间不对称地利用更廉价的技术（引 Bobbitt《Terror and Consent》）；(b)善意铺就的国家过度扩张与威权滑坡之路。滥用、糟糕工程与制度失灵，比「外星式 scheming」更值得关注。
- 安全与能力交织：需要强大的系统来做监控、可靠性、社会防御；不安全的系统在商业上也无用且是 liability 风险。
- 孤立谈「内在对齐」不够：抽象对齐难以定义 + 委托代理问题，说明应工程化系统级边界；ASI 不是万能牌，这对强大系统同样适用。
- 自动化 AI 研发比想象的难：不等于突然失控；模型收益仍受瓶颈、部署反馈、成本/算力限制和人类规范方向约束，人类委托更多不等于出局。
- 反宿命论：竞争压力不必然把人类降为宠物；自动化「执行」实际把人推向更高抽象层级——规范方向与治理；但为了好结局应主动保护和改进自由民主制度。
「漫话AGI」频道最新
- 播客借印度教业力观探讨自动驾驶与 AI 的责任共担问题 — krvarshney · 2026-11-07
- TBPN 长谈:AI 将如何重塑药物研发与 GLP-1 格局 — jordihays · 2026-11-07
- 「暂停 AI」运动有人倒戈了吗？ChrisGPT 发帖征集案例 — ChrisGPT · 2026-11-07
- 纽约时报报道 OpenAI 冲击指数时间假设，动摇计算机科学基石 — fortnow · 2026-11-07
- AI 圈热议 DREADD:已在人体验证的新药研发模态 — anshulkundaje · 2026-11-07
- Muse 语音形象上线，设计师批「可爱吉祥物」是对人类共情的武器化 — joonasvirtanen · 2026-11-07