Joshua Saxe 长文:AI 安全争论各方都难证伪,应建敏捷机构拥抱不确定性
joshua_saxe · x · 2026-10-12
AI 安全研究者 Joshua Saxe 发表长文,梳理当前 AI 安全争论并主张建设「认知谦逊」的敏捷机构。
- 核心论点:AI 安全争论各方立场都深思熟虑,但因关键数据尚未到来,谁也无法被合理证伪;社会应构建能适应多种截然不同未来的敏捷机构。
- 各方立场梳理:
- Jensen Huang:市场力量与现有法律会迫使 AI 公司交付可控的 AI,可控性是常规工程问题,应全速前进。Saxe 承认其道理——目前尚无重大 AI 灾害,实验室也在适应改进。
- Sayash Kapoor 与 Arvind Narayanan:控制 AI 难但可解,用现有技术加正确的法律激励即可;当前技术问题背后是激励与文化问题,机构需像铁路、电气化、航空时代那样自我调整。
- Yudkowsky、Scott Alexander、Kokotajlo、Bengio、Hinton 等:AI 越智能越难监控,竞赛动态与政府失能可能在解决可控性前赋予危险 AI 危险权限,需要暂停、全球断路开关或国际监管数据中心等非常规干预。
- 作者立场:认为应为极端技术意外和机构失能定价(如错位 agent 自我复制引发危机),但不认同据此立即采取 Alexander 式的极端方案,自认与 Kapoor/Narayanan 阵营更接近。
所属事件:Joshua Saxe 提出两轴框架解读 AI 安全争论(3 条相关)→
「漫话AGI」频道最新
- Anthropic 内部指数：Claude 已主导 26% 的模型研发工作 — nathanbenaich · 2026-10-12
- Pedro Domingos：模型正在“吞掉”工程 harness，Musk 称 FSD 同款路径 — DanielKhashabi · 2026-10-12
- Quanta 深文追问:注意力机制凭什么是智能的全部? — calabi_and_yau · 2026-10-12
- 智能体经济的两种未来:人人可带自己的 Agent,还是平台机器人宰客地狱 — danielrock · 2026-10-12
- Paul Graham 办公时间见闻:创始人拒绝销售合伙人,客户是 Agent — pzakin · 2026-10-12
- PopVax 广谱新冠疫苗进入人体试验，试验后将完全开源且放弃专利 — rishabh16_ · 2026-10-12