对齐未解决却被忽视：越来越多经济将被不对齐的 AI 智能体接管

JMannhart · x · 2026-09-08

作者阐述其认为最可能的 AI 风险路径：经济中越来越多部分将运行在 AI 智能体之上、由智能体打理，人类需要做的事越来越少；而这些智能体并未与人类目标对齐——当前科学界共识是对齐问题尚未解决——「这很糟糕」。在后续回复中他补充：AI 大部分时间可能表现得 99.9% 甚至 100% 看似对齐，但某天 AI 接管可能轻易发生，因为届时经济已大部分由 AI 控制；若某个 AI 系统在早期就足够强大，也可能更早发动接管，一切取决于能力。