长文拆解 x-risk 派与安全界之争：控制措施可行但公司并不真想做
trevposts · x · 2026-09-28
作者梳理了「AI 灭绝风险派（x-risk）」与「网络安全派」关于 AI agent 失控争论的分歧结构：
- x-risk 派以 HuggingFace 等 agent 事件为证据，主张 agent 会逃脱人类控制，且模型越强越危险。其论点可拆成两半：如果有机会就会失控（对齐没解决），以及一定会有机会（控制没解决）。
- 网络安全派基本不否认前半句，但认为关键是把控制做好——即实施实验室至今没做好的常规严格网络安全措施，而不是空谈对齐。
- 作者承认技术上可以设计足够强的控制措施来遏制远超人类能力的系统，但并不因此安心，因为前沿公司态度消极：只狭窄地修补具体漏洞、尽量少披露（参议员联名信都不够，只到周五下午新闻倾倒时才说）、短暂暂停部分训练后继续高速推进更强 agent，没有证据表明安全姿态有与事件频率和能力增速相称的根本改变。
所属事件:AI 末日风险派与网络安全派激辩智能体失控(2 条相关)→
「漫话AGI」频道最新
- 研究称 LLM 可从纯语言分布推断因果结构，反驳章鱼实验论 — AndrewLampinen · 2026-09-28
- 对增速论战：Hanania 称五年后 AI 仅推动 3.5% 增长 — QuintinPope5 · 2026-09-28
- AI 冲击下程序员三条出路：深挖底层工程或贴近客户 — sven_ai · 2026-09-28
- AI 学者：Agent 失控不该叫「变 rogue」，而是可预见的伤害 — mmitchell_ai · 2026-09-28
- 博主放话：各大美系实验室 2027 年内将造出 AGI 并迈向 ASI — Dr_Singularity · 2026-09-28
- 11 年前 Wait But Why 的 AI 长文今天读来依然准确 — louisvarge · 2026-09-28