三年 AI 暂停=千年安全研究?新模型推演「暂停换安全」的真实折扣

gleech · x · 2026-10-25

一项研究构建了「监管暂停期 AI 做安全研究、人类负责验证」的模型,提出三年 AI 暂停可能换来相当于 1000 年的安全研究产出。评论(Gleech 推荐)认可其把人类验证成本明确计入,但列出了多条管道「漏损」:安全研究是否在关键路径上、是否双用途反而助推算法领先与提前背叛暂停协议、模型是否具备挑选方向的 safety taste、工作是否有效(会不会爬向局部解、作弊或未被发现的 sabotage)、成果是否真被采用。综合这些过滤器,评论估算三年「千年有效年」的投入实际只折算出约 41 年的有效风险削减,但也承认不能排除安全研究恰好适合大规模工程化投入。