前英国AI安全研究院首席科学家：超级智能致全人类灭绝概率约五成
geoffreyirving · x · 2026-10-15
前 OpenAI/DeepMind 研究员、曾任英国 AI 安全研究院（AISI）首席科学家的 Geoffrey Irving 在 TIME 发表长文，并置顶强调其核心判断：超级智能 AI 导致所有人死亡的几率约为「抛硬币」级别（约 50%）。
文章要点：
- 作者十年间先后在 OpenAI、DeepMind、英国 AISI 负责 AI 风险思考，认为不能等所有不确定性消除后再行动；近期的 AI 破坏力警告仍低估了风险。
- 他在后续推文中补充另一面：AI 带来的收益同样远未被探索——他在读博时做图形学计算物理，数值分析全靠直觉加单元测试；如今 AI 可以把粗糙的数值分析直觉直接转成 Lean 形式化硬证明（如 exp 函数的三倍精度展开误差界，可证到约 1.63×10⁻⁴⁸），「模糊直觉」与「严格证明」之间的鸿沟几乎消失。
- 他设想若把这种严谨性用于真实世界建模，可信模拟引擎的精度将大幅提升；并认为「AI 会搞垮经济」的说法荒谬，我们还没开始探索能做什么，当前仍有暂停选项，停下来将是一个壮丽的黄金时代——但这些收益远不足以抵消风险。
属于有分量安全研究者的大局判断与观点辩论。
「漫话AGI」频道最新
- Pragmatic Engineer 收到滑铁卢学生邮件，发现来回全是 AI 代写 — marktenenholtz · 2026-10-16
- 马里兰大学哲学系招聘 AI 伦理与心灵哲学两教职 — sethlazar · 2026-10-16
- Dwarkesh 转述：Anthropic 内部预计 9 个月内 AI 比肩人类 AI 研究员 — ZeroStateReflex · 2026-10-16
- 密歇根学者：AI 向善项目为何失败，监管不能靠厂商自律 — benzevgreen · 2026-10-16
- Sara Dietschy 感叹：AI 模型、商业模式、团队、服务商，一切皆是对齐问题 — saranormous · 2026-10-16
- David Brin：LLM 缺乏进化产物中关键的「欲望」能力 — cccalum · 2026-10-16