低智系统也会意外习得目标，哲学理由挡不住 X 风险

dioscuri · x · 2026-09-13

dioscuri 在与 philoshua、@rowlsmanthorpe 的辩论中补全论证：@leninology 以 AI 缺乏「内部目标」（基于缺乏内在性与主观性）为由，斥「恶意 AI 超级智能」为幻想，但心灵哲学内部对主观性本无共识，且与 X 风险评估关系存疑。更关键的是，如何让系统意外习得目标并非谜题：工具性趋同（instrumental convergence）与 mesaoptimizer 有大量文献，模型 wireheading 也有众多真实案例。本条为该线程信息量最完整的收束。