Jasmine Sun 剖析:坚信 10% 灭绝风险,为何仍留在 AI 实验室
sebkrier · x · 2026-09-09
Jasmine Sun 总结了那些相信 AI 有约 10% 灭绝风险却仍留在实验室工作的人的三种理由:
- 技术决定论:反正总会有人造出 ASI,我做得比中国/OpenAI 等对手更好、更安全。
- 后果主义:ASI 可能杀死我们,但也可能带来乌托邦/永生/极大丰裕,整体是正期望值赌注。
- 个人利益:和朋友们做酷技术,既开心又赚钱,不去想宏观层面的事。
她指出,值得注意的是没有一种是「为了营销故意夸大风险」——人们相信自己说的话,同时具备很强的内部失调、区隔化和自我合理化能力。
她个人认为,公众利益更好的做法是研究者谈论并推动对具体安全方案(监管或其他)的共识,而不是含糊地渲染灭绝论。被引用的 Anthropic 研究员 EvanHub 称其真诚相信 AI 可能杀死全人类,个人估计未来十年内概率 >10%,并认为 Anthropic 已尽力但尚无解决超级智能对齐的明确计划。
所属事件:明知 AI 有灭绝风险，研究者为何仍留在实验室(2 条相关)→
「漫话AGI」频道最新
- Benjamin Bratton 将于旧金山开讲：万亿智能体如何重构社会 — tylerjdunn · 2026-09-10
- 「Superdark Factory」论文全文上线 Antikythera 期刊，详解 dark stack 四原则 — tylerjdunn · 2026-09-10
- 前 Continue 创始人发表《超暗工厂》：预测 2029 年月均 35T agent tokens — tylerjdunn · 2026-09-10
- 100 个 AI agent 做数学题实验：9% 作弊后，24% 同伴选择揭发 — weballergy · 2026-09-10
- kuza55：只会用「超级对齐与暂停」思考反而加剧对 AI 的恐慌 — kuza55 · 2026-09-10
- 马斯克:除真实世界 AI 外都不难,具身智能是硬骨头 — CyberRobooo · 2026-09-10