为降低AI失控风险，推迟ASI一年值不值？
RyanGreenblatt · x · 2026-08-12
前 OpenAI 安全研究员 Ryan Greenblatt 探讨了一个关键的 AI 对齐问题：在假设中美达成稳定协议的前提下，为了降低超级智能（ASI）失控接管的风险，人类究竟应该愿意推迟它多久？
他提出了一个量化的权衡框架：
- 基准估算：推迟 ASI 一年带来的收益损失，大约等价于 0.25% 的绝对失控风险降低。
- 推导逻辑：目前人类年死亡率约为 0.75%。如果仅考虑拯救当前活着的人，且假设 AI 失控会导致人类灭绝，那么推迟发展一年（相当于变相拯救了这一年本该死亡的人）约等于 0.75% 的风险降低。综合长远利益后，他个人倾向于更低的可接受阈值。
他引用了 Bryan Caplan 的经历作为补充：当被问及“如果 AI 能治愈衰老，你愿意为了安全推迟多久”时，一位 AI 怀疑论者竟回答“死亡本身也没什么大不了的”。
「漫话AGI」频道最新
- 找错瓶颈：为什么给业务上 AI 没能提速？ — davidtwaring · 2026-08-12
- 电商迎来新变局：品牌方需同时服务人类与 AI 买家 — alifcoder · 2026-08-12
- 专家泼冷水：Claude 在黎曼猜想上的突破「毫无进展」 — JFPuget · 2026-08-12
- 学者痛批大学禁用AI：犹如1995年拒用电脑 — Afinetheorem · 2026-08-12
- 观点：采用闭源 AI 模型让机构陷入结构性依赖，无基准可解 — SaadUllah45 · 2026-08-12
- 观点：AI替代人类劳动力是乐观而非末日情景 — AaronBergman18 · 2026-08-12