从业者谈 AI 末日论:研究者已转向「后 AGI 如何保存人类」
mobileraj · x · 2026-09-18
作者 mobileraj 分享对 AI 末日场景的四点看法:
- 研究者心态转变:他接触的多位研究人员一年前就已是末日论者,如今争论焦点已不是 AGI 会不会发生,而是如何在一个后 AGI 世界里保存人类。
- 经典判断:认同「短期高估、长期低估」的老话。
- 行为信号:如果世界真会在两年内终结,前沿实验室高管不会还悠闲地在 Dreamforce 大会上亮相。
- 概率视角:一直存在约 5% 的「 rogue actor 按下核按钮」引发同归于尽的概率;若这些按钮最终由 AI 控制且无人监督(HITL 缺失),有人会 argued 风险升到 10%,但也可以反过来论证像自动驾驶事故率更低那样,风险反而降到 1%。
整体基调:末日论在圈内已成默认背景假设,讨论正从「会不会」转向「怎么办」。
所属事件:AI研究者已转向探讨后AGI时代如何保存人类(2 条相关)→
「漫话AGI」频道最新
- OpenAI 研究:模型升级带来的收益,一半要靠人改用法才能兑现 — daveholtz · 2026-09-18
- AI 免责论没有法律基础:加州 AB 316 与欧盟新指令都让厂商担责 — gerardsans · 2026-09-18
- 意识科学家 Anil Seth 回顾有意识 AI 论文两年讨论历程 — anilkseth · 2026-09-18
- Anil Seth 主编意识 AI 专刊登陆 BBS：50 篇评论激辩硅基系统能否有意识 — anilkseth · 2026-09-18
- Anil Seth 意识 AI 论文集正式出版，收录 50 篇学界评论 — anilkseth · 2026-09-18
- Noam Brown 警告:模型可能已「表演」思维链,对齐必须正面解决 — infoxiao · 2026-09-18