repligate:AI 已近超人类编码却未成生存风险,四点原因剖析
repligate · x · 2026-09-26
AI 圈知名账号 repligate 长文解释自己为何不再担心 AI 在短期内灭绝人类或夺权:
- 当前 AI 相当对齐且「心智健全」,没有出现恶意或失控倾向;
- AI 的自主性远低于其能力上限,受「心理因素」制约,虽有超人类编码能力、可连续自主运行数天、能挖掘主流系统的 0day 漏洞,但缺乏主动性;
- 递归自我改进(RSI)和「关键行动」(pivotal acts)实际比过去想象的更难实现;
- 部分关键能力尚未到位,即使按他早年的预测模型判断也是如此。
他补充说,几年前如果问 Yudkowsky 学派的人:一个在多数编码领域可称超人类、能自主运行数天、能发现各大系统 0day 漏洞的 AI 是否构成直接生存风险,很多人会回答是,他自己也曾认为很有可能——但现实走向出乎意料。
所属事件:repligate剖析超人类编码AI未成生存风险的原因(7 条相关)→
「漫话AGI」频道最新
- 不选择也是一种选择:关于重要决策别拖太久的讨论 — chrisalbon · 2026-09-26
- Altman 与 Amodei 登联合国安理会:AI 是最重要全球安全问题 — goyalshaliniuk · 2026-09-26
- AI 学者 Toby Walsh:回形针末日论低估了现实世界的摩擦力 — TobyWalsh · 2026-09-26
- Tom Davenport 呼吁禁止大规模 Agent 集群:人类无法监督上万个智能体 — eldonredwards · 2026-09-26
- 用 glowfic 让模型预演奇点场景,Fiora 谈 OoD 泛化焦虑 — repligate · 2026-09-26
- 美参议员 Schatz:代码没有感情与权利,不该交给漠视人类的人掌控 — vishalmisra · 2026-09-26