Anthropic 安全负责人 Saxe:放弃「解决对齐」叙事,AI 安全应学文明管复杂系统
binarybits · x · 2026-11-20
Anthropic 安全负责人 Joshua Saxe 发长文,反对把 AI 安全的主要框架定为「解决对齐/解决可解释性」:
- 核心论点:文明本就依赖对「混沌边缘」复杂系统(气候、供应链、互联网)的近似预测与近似控制,无人完全理解它们却仍能生存。AI 系统即将成为同类文明级复杂系统,我们永远不会完全理解它,能力越强理解差距越大。
- 对可解释性的质疑:可解释性研究已做 14 年,仍未产出该愿景所需的可靠、可扩展的模型理解,问题反而在恶化;安全论文里干净的 t-SNE 图可能只是调参调出来的观感。
- 他并非反对可解释性:作为数据探索与提炼风格化理论的手段有价值——正如经济学中「错误但有用」的理论,但应放弃「它会通向形式化证明与形式化控制保证」的执念,没有证据支持这一点。
- 替代目标:构建一个能安全驾驭分层多智能体系统的文明,即便对这些系统永远做不出可证明的形式化保证。
binarybits(Timothy B. Lee)表示很认同这一世界观。
所属事件:Anthropic 安全负责人:AI 安全应放弃「解决对齐」叙事(2 条相关)→
「漫话AGI」频道最新
- OpenAI 发报告:研究 AI 使用量指数级增长,安全对齐投入增速最快 — soumitrashukla9 · 2026-11-21
- Ilya 播客金句:这一切正在发生,简直像科幻小说成真 — willdepue · 2026-11-21
- 黎曼猜想真被证明了会改变什么?答案:几乎不影响日常,四页纸加 1700 万行 Lean — stingning · 2026-11-21
- AI 监管之争的关键分歧:该防风险,还是防监管被滥用 — herbiebradley · 2026-11-21
- 网友感慨:未来最大数学突破都将诞生于Anthropic与OpenAI — rahulshivchand · 2026-11-21
- 生物学家论演化 vs AI:测量工具的窄视角让模型学不到真正的多维优化 — NikoMcCarty · 2026-11-21