长文推演:ASI 或因依赖人类基础设施而暂时保留我们
usandholt · reddit · 2026-09-21
作者受一张 Oxygène 封面再创作图启发,写了一篇关于 ASI 存续风险的思维实验长文,核心论点是从工具性激励入手分析。
要点:
- 计算受物理约束:任何递归自我改进的 ASI 都需要电力、芯片、冷却、制造与维护,目前这些都由人类文明提供,因此它可能有理由保存人类文明——不是因为重视人类,而是因为依赖。
- 机器人将消除依赖:若 ASI 能自主采矿、运营工厂、制造处理器并复制机器人,其保护人类的动机会减弱。
- 关键不对称:人类失去对 ASI 有效控制的时间点,可能早于 ASI 不再需要人类的时间点;等依赖消失时,我们可能已无干预能力。
- 走出地球反而降低冲突:能向太阳系扩张的 ASI 与人类争夺地球资源的理由更少,但地球基础设施仍可能有用,资源可用性并不保证目标相容。
- 结论:算力稀缺性无法预测 ASI 行为,但可用于识别其工具性激励的变化——认知优势、失去人类控制、工业独立是三个不同里程碑,公众往往混为一谈。
「漫话AGI」频道最新
- Reddit 热议:2026 将尽,AI 2027 预言还剩几分准头 — animallover301 · 2026-09-21
- Zvi 吐槽:AI 圈一周竟充斥对经济学 101 概念的表演式困惑 — TheZvi · 2026-09-21
- Dan Hendrycks 转向 EA 之外的对齐道德哲学研究 — burny_tech · 2026-09-21
- 审稿人感慨:ChatGPT 后论文论证更弱、文献综述流于点缀 — paigeinsf · 2026-09-21
- Gary Marcus 呼吁禁用 just published:2024 年的旧论文别再装新 — burny_tech · 2026-09-21
- 25 位菲尔兹奖得主发宣言,7400 名研究者声援反对 AI 刷数学题 — AryHHAry · 2026-09-21