AI 安全争论三方立场梳理：Jensen 乐观、Kapoor 温和、Yudkowsky 悲观
joshua_saxe · x · 2026-10-12
前 Hugging Face 安全负责人 Joshua Saxe 发长文梳理 AI 安全争论，认为各方立场依赖尚未到来的数据、无法被证伪，因此应建设拥抱不确定性、能适应多种未来的「敏捷机构」。
他将阵营分为三派：
- Jensen Huang / 加速派：市场力量和现有法律会迫使 AI 公司交付可控的 AI，控制是常规工程问题。理由是目前尚未看到 AI 重大损害，且各大实验室已在适应和改进。
- Sayash Kapoor 与 Arvind Narayanan / 温和监管派：控制 AI 很难但可解——用现有技术就能解决当前控制问题，关键是靠法律法规激励公司去做，就像历史上铁路、电气化、航空业一样，机构需适应并强制安全。
- Yudkowsky、Scott Alexander、Kokotajlo、Bengio、Hinton 等 / 末日风险派：AI 越智能越不可读、越难监控，加上竞赛动态和政府失灵，可能在解决对齐前就赋予危险 AI 权力，需要暂停、全球开关或国际监管数据中心等超常规干预。
作者认为后者的价值在于应把「极端技术意外 + 机构失灵」的可能性计入定价（GPT-9 可能让 GPT-6 像 GPT-2 一样原始，而我们的机构制造过核军备竞赛和 9/11 式灾难响应）。但他个人站队 Kapoor/Narayanan：反对在极端场景上押注到支持 AI 2048 式自上而下的严厉方案，主张以认识论谦逊的制度建设来对冲不确定性。
所属事件:Joshua Saxe 长文称 AI 安全争论难以证伪(4 条相关)→
「漫话AGI」频道最新
- 调查：全球三分之一的人觉得 AI 似乎有意识 — cccalum · 2026-10-13
- AI 争论并非加速 vs 谨慎：各方担忧的其实不是同一件事 — moniquejmorrow · 2026-10-12
- Todoist CEO:年烧 2000 万美元做产品,多数人低估了「米其林级」软件之难 — garrytan · 2026-10-12
- X 网友争论：AI 给出的高层解释未必与实际运作一致 — qi2peng2 · 2026-10-12
- AI 使用鄙视链两头堵:用得多是投降,用得少是老古板 — paulnovosad · 2026-10-12
- Scott Aaronson 访谈：数学领域的奇点已经开始 — ChrSzegedy · 2026-10-12