安全研究者激辩：部署不可测试系统属过失，涉事者当入狱
AndyXAndersen · x · 2026-11-07
围绕「AI 安全应作为工程问题处理」的观点，安全研究者 David Manheim 与 AndyXAndersen 展开激辩。
- Andersen 主张把 AI 安全当作普通工程问题：施加资源使用等合理约束、不要求不惜代价成功，认为真实的工业事故教训比 Yudkowsky 二十年思想实验更能推动安全。
- Manheim 反驳：合格的工程师不会部署自己根本无法理解、也无法稳健测试安全性的系统，如果这算工程，相关方应因过失入狱。
- Andersen 同时承认弱形式的工具收敛(instrumental convergence)很可能成立，约束不良的系统必然出现病态解。
这是 AI 安全圈内「工程化务实派」与「对齐严格派」之间有代表性的观点交锋。