RL 名家 Szepesvári：AI 生存风险不在单个智能体，而在国家博弈
9 月 14 日，强化学习领域知名学者 Csaba Szepesvári 在推特上以系列帖形式系统讨论如何思考 AI 风险，核心结论是：单个高智能体构不成生存级风险，真正值得关注的是国家级行为体之间短视角力的宏观结构性风险。
已确认
- Szepesvári 提出一个思维模型：把「AI」替换成「一个聪明人」或「一个强大组织」来分析，因为人类智能是人类唯一有长期相处经验的通用智能技术，几个世纪以来围绕它建立了教育、制度、法律、职业规范、权限控制等护栏。该框架由 @AdaptiveAgents 转述并认同为思考 AI 风险的可行起点。
- 在逐步推演灭绝情景时，他认为即使掌权者主动想让人类灭绝，实际造成灭绝的概率仍很低——可能造成巨大伤害但不至于灭绝；意外导致灭绝的概率更低，虽非零。
- 把掌权者从人类换成 AI，他认为灭绝概率不会因此改变。他表示自己看到的风险不少，但多数并非生存级，且在该设想场景中仍由人类负责。
- 在讨论末尾他补充：尽管吐槽 AI 系统的种种问题，他仍然钦佩这些系统，相信相关问题会被修复。
为什么重要
- Szepesvári 指出真正的风险在于更宏观的结构：民族国家等强大组织之间的角力及其反馈循环。他类比：单个骗子面对超级天才个体也许还有胜算，但若给各国家级组织配上大批「便宜、绝对服从的天才军团」，风险会显著放大。他认为 AI 最坏且最可能的情景不是个体滥用，而是国家级行为体以短视方式互相竞逐。
- 作为强化学习领域的权威学者，他提供的分析框架为公众理性评估 AI 生存风险提供了一个去神秘化的视角，把讨论焦点从「单一 AI 叛乱」引向治理与国际竞争层面。
2026-09-14 ~ 2026-09-14 · 7 条相关
一手来源
- RL 名家 Szepesvári 谈 AI 风险:单个高智能体构不成生存风险 — CsabaSzepesvari ·
- 换 AI 掌权概率不变？Szepesvari：真正的风险是超级智能体卷入国家博弈 — CsabaSzepesvari ·
- Szepesvári:最大风险是国家级行为体短视竞逐 AI — CsabaSzepesvari ·
- 把 AI 当人管:用人类治理框架思考 AI 风险 — AdaptiveAgents · 2026-09-14
- 【源头】RL 名家 Szepesvári 谈 AI 风险:单个高智能体构不成生存风险 — CsabaSzepesvari · 2026-09-14
- Szepesvári 续谈 AI 风险:风险不少,但多非生存级 — CsabaSzepesvari · 2026-09-14
- RL 大佬 Szepesvari 逐帧拆解 AI 灭绝风险：单个人掌权概率很低 — CsabaSzepesvari · 2026-09-14
- 【源头】换 AI 掌权概率不变？Szepesvari：真正的风险是超级智能体卷入国家博弈 — CsabaSzepesvari · 2026-09-14
- 【源头】Szepesvári:最大风险是国家级行为体短视竞逐 AI — CsabaSzepesvari · 2026-09-14
- RL 学者 Szepesvári 谈「灭绝级事件」:仍看好 AI 会修复 — CsabaSzepesvari · 2026-09-14