安全学者长文：对齐不是模型属性，而是需主动维持的动态过程
tdietterich · x · 2026-09-21
知名 AI 安全学者 Thomas Dietterich 发布长线程，借 Nancy Leveson 的《Engineering a Safer World》论证："安全"（今天的"对齐"）不是自动驾驶汽车或 AI 智能体这类自动化系统的固有属性，而是必须通过主动控制持续维持的动态属性。
要点：
- 系统组件的失效模式与运行环境变化具有无界多样性，只有极窄任务、不变环境下的简单系统例外。
- Leveson 讨论了政府、监管者、所有者和运营者在安全中的角色（主要威胁是预算削减与人员流动），以及运行环境（含法规）的变化。
- AI 智能体设计者寄望于智能体有足够智能去推理并应对新失效，但测试这类系统极其困难：无法为定义上无法预料的新失效和环境的基准，现有最佳工具是仿真中的对抗性挑战；但对抗者也局限于封闭动作空间，且很少有完备性证明。
- 仿真本身有局限，在危及生命的场景中验证既不可能也不伦理；Waymo 的"自动驾驶"实际上需要人工监督团队，近期 OpenAI 与 Google 的 AI 网络安全事件也印证 AI 系统并无不同。
所属事件:对齐圈激辩：动态安全是否等同 AI 对齐(6 条相关)→
「漫话AGI」频道最新
- 2026 招聘新信号:AI 生成的求职信一眼假,连累整份简历 — Afinetheorem · 2026-11-12
- Toby Ord：部署前强制测试意义有限，内部模型才是最大风险源 — ben_j_todd · 2026-11-12
- 「AI 灭绝人类？大概率没事」：乐观派文章引热议 — NathanpmYoung · 2026-11-12
- 斯坦福研究：AI 五年内或减少放射科医生 33% 工时 — StanfordAILab · 2026-11-12
- 商业策略之争:把 AI 藏在人后面,而非把人藏在 AI 后面 — annetgriffin · 2026-11-12
- Yampolskiy 对阵 Israetel：租下教堂辩论 AI 末日概率 — rand_longevity · 2026-11-12