Bostrom 1998 年论文神预言:本世纪前三分之一或将迎来超级智能
maksym_andr · x · 2026-10-06
maksymandr 发推回顾 Nick Bostrom 1998 年的论文,称「有些人对未来的预测一直很准」:论文明确主张「我们有理由相信,将在下世纪(即 21 世纪)的前三分之一迎来超越人类的超级人工智能」。
后续推文还引述了论文中两个关键论点:
- 递归自我改进:一旦 AI 达到人类水平,将出现正反馈循环——AI 帮助构建更好的 AI,如此迭代加速。
- 为什么把前沿节奏放缓以优先安全如此之难:即使决策者无法确定 AI 是否会危害人类利益,发展也很可能照旧——或因人们不认为生物人类被机器逐步取代必然是坏事,或因短期利润、好奇心、意识形态等强大力量使集体禁令无法达成与执行。
作者也指出 Bostrom 对反向传播的判断完全错了(他曾认为反传训练成本随神经元数量剧增、且属监督学习是重大局限)——但或许在大局层面,技术细节的错判无碍大势判断的正确。
「漫话AGI」频道最新
- 程序员观察:LLM 毒化了在线问答范式,如今又成了新范式 — max_paperclips · 2026-10-06
- 界面设计师忆乔布斯:从仿制 Mac 的 PC 少年到对行业停滞的叹息 — ryolu_ · 2026-10-06
- 功能主义视角:112B-A3B MoE 模型强于 3B 稠密模型可类比大脑 — JoshPurtell · 2026-10-06
- Rob LeClerc 认同:AI 或让人类以更低成本探索未知抱负 — robleclerc · 2026-10-06
- iamtrask 转赞企业 AI 难题：用 token 溯源激励员工贡献隐性知识 — iamtrask · 2026-10-06
- 哲学僵尸用错了？AI 系统按定义并非 p-zombie — rgblong · 2026-10-06