对齐圈激辩：动态安全是否等同 AI 对齐

9 月 21 日至 23 日，围绕 Nancy Leveson 的「动态安全」理论与 AI 对齐的关系，davidmanheim、tdietterich 等人在对齐圈展开一场多轮辩论。核心分歧在于「动态安全」与「对齐」是否本质相同，以及规模化（scaling）是否是对齐的关键挑战；目前双方各执一词，尚无定论，但这场交锋直接触及对齐研究的定位与技术路线。

已确认

• tdietterich 于 9 月 21 日发布长线程，借 Leveson 的《Engineering a Safer World》论证：安全（即今天的对齐）不是自动驾驶汽车或 AI 智能体这类自动化系统的固有属性，而是需要主动维持的动态过程。
• 他给出安全系统的定义：系统对人和基础设施的危害维持在低于社会可接受水平的范围内；动态安全要求即便面对（失效等）情况也能维持这一状态。
• 他还提出系统组件的失效模式和运行环境变化呈现无界的多样性，例外的是在不变环境中执行非常狭窄任务的简单系统。
• tdietterich 认为 Leveson 的动态安全概念本质上与对齐相同，并猜测 Leveson 与人因工程社区不相信机器能自主实现动态安全。
• davidmanheim 提出两个关键区分：其一，动态安全不等于对齐——动态安全只要求系统在某运行范围内保持安全，而对齐关注系统随规模扩大时的行为，就像电机在常温常速下安全，温度和转速翻倍、三倍后未必安全；其二，前沿系统规模化后已近乎无法负责任地监督。

为什么重要

这场辩论触及对齐研究的定位：若对齐等同于经典的动态安全工程，则可借用成熟的系统安全方法论；若如 davidmanheim 所言对齐的核心在于 scaling 之外的行为监督难题，则需要新的研究框架。双方观点的交锋有助于厘清对齐研究的边界与技术路线。

2026-09-21 ~ 2026-09-23 · 6 条相关

• Dietterich：系统失效模式与环境变化呈现无界多样性 — tdietterich · 2026-09-21
• 【源头】安全学者长文：对齐不是模型属性，而是需主动维持的动态过程 — tdietterich · 2026-09-21
• Dietterich 详解系统安全定义:危害须控制在社会可接受水平 — tdietterich · 2026-09-23
• 【源头】Dietterich:Leveson 动态安全本质上就是对齐问题 — tdietterich · 2026-09-23
• 对齐圈激辩：动态安全是否等同于 AI 对齐，关键在 scaling 之外 — davidmanheim · 2026-09-23
• 【源头】AI 安全研究者：前沿系统规模化后已近乎无法负责任地监督 — davidmanheim · 2026-09-23