AI 安全辩论：危险 AI 须能自建物理能力，但能力扩展速度被低估

lu_sichu · x · 2026-09-14

lusichu 反驳「AI 现在做不到所以不用担忧」的论调：已经有一批初创公司在尝试让 AI 获取物理世界能力，而真正危险的 AI 恰恰应具备自我合成和引导物理能力的本事。他指出能力扩展速度极快（以数学能力为例），如果抱着「现在不行就不担心」的态度，将永远来不及预防。

在被引用的上下文中，JoshPurtell 提出反问：设想一个从未用代码数据训练的世界——真正的网络灾难可能根本不会发生，因为错位 AI 需要太多依赖泛化的步骤同时成功。他后续补充：数学被大量训练过，而随 RL 训练算力占比上升，分布内与分布外任务的差距在扩大；质疑 AI 能否比 Musk 或中国更便宜高效地建晶圆厂。