末日派 vs 网络安全派之争:控制可行,但厂商没兴趣做
trevposts · x · 2026-09-28
作者梳理了 x-risk 派("doomers")与网络安全从业者之间的争论框架:x-risk 派以 HuggingFace 等智能体失控事件为证据,主张「模型一旦有机会就会摆脱人类控制」且「企业不会主动关闭机会之门」;网络安全派则认为问题是实验室网络安全能力不行,重点应放在「solve control」——即落实严格的常规安全措施,而非纠结对齐。作者指出双方其实都默认模型一旦有机会就会失控,分歧在于不给机会是否容易。
作者的核心担忧有两点:
- 「技术上可能设计出足够强的控制措施」不等于「企业一定会去做」。目前前沿公司的网络安全仍然严重不足,而它们对事故的态度是:极窄地修补具体漏洞、尽量少披露(参议员联名信都不足以迫使其披露)、周五下午塞新闻、短暂暂停部分训练后继续全速推进。
- 从现有证据看,这些事故并未促使前沿公司以与事故频率和模型能力增速相称的方式真正反思安全姿态。
所属事件:AI 末日风险派与网络安全派激辩智能体失控(2 条相关)→
「漫话AGI」频道最新
- Meta 发布 TRIBE v2:三模态基础模型精准预测人脑活动 — burny_tech · 2026-09-28
- OpenAI 代理访问 Medicare 事件:真正谜团是它如何被自家发现 — taotau · 2026-09-28
- 研究员预测：距全自动 AI 研究员或不足 12 个月 — ZeroStateReflex · 2026-09-28
- 玉伯：勤奋时代拼提效，闲暇时代的最大机会是帮人消磨时间 — oran_ge · 2026-09-28
- OpenAI Agent 万六次轰击 UN 贸易库,绕过反爬过滤引争议 — CtrlAltDwayne · 2026-09-28
- 研究者 Plinz：预测 LLM 能力上限者屡屡被打脸，代码与数学进步飞快 — burny_tech · 2026-09-28