AI 风险论战:tszzl 称经典风险难致灭绝,遭指低估生物风险
JMannhart · x · 2026-09-11
一场关于 AI 生存风险的争论:@tszzl 提出,RSP/准备度报告里常见的"体面"AI 风险因素(核战、疫情等)都远不足以导致人类灭绝,真正的灭绝级风险只能是类似 grey goo 的自我复制体家族。@JMannhart 反驳称他严重低估了生物风险(biorisk):虽然像"最笨的优化算法"进化那样意外造出危险生物不容易,但在宇宙尺度上,只要作为一个优化过程的"生物"哪怕半熟练,就足以做到这一点。
这场争论触及 AI 风险评估的核心分歧:是聚焦前沿实验室的报告框架(误用、失控、lifecycle 风险),还是关注 AI 作为自我复制优化过程的更根本性威胁。
所属事件:AI 灭绝风险论战:灰雾自复制体与供应链自动化之争(6 条相关)→
「漫话AGI」频道最新
- 程序员警告:模型「消融版」将冲击软件供应链,千级依赖无人设防 — nitarshan · 2026-10-27
- 程序员观点:每次 SOTA 模型发布,都该主动「删掉」部分旧认知 — zack_overflow · 2026-10-27
- Replit 预言:2030 年前每家财富 500 强都将是「自驾公司」 — amasad · 2026-10-27
- Anthropic 称全保险业也兜不住自身风险,网友嘲讽 — GarrisonLovely · 2026-10-27
- MIT Ziming Liu 批评 AutoResearch:不懂原理的训练技巧会引发 forking 过拟合灾难 — ZimingLiu11 · 2026-10-26
- AI 指控震动文学界:从 Caine 奖到龚古尔奖的「人类作者」之争 — TuhinChakr · 2026-10-26