安全研究者警告：AI Control 路线反而可能增加灭绝风险
jankulveit · x · 2026-09-07
安全研究者 jankulveit 提出尖锐观点：当前「AI Control」组合很可能增加而非降低灭绝风险，并称 HF（Anthropic 前员工 leaks/事件相关）事件后这一点更易看清——你更愿意生活在信息公开的世界，还是控制措施在 OpenAI 边界拦住了它、只有 OpenAI 独占洞见的世界？
后续补充两点论据：
- AI Control 之所以占据 x 风险缓解更大比重，部分因为它是「实验室激励兼容」「实验室叙事兼容」的——故事是「让失对的 AGI 去解决 ASI 对齐」。
- 另一个扭曲来自「进入门槛低，随便做点什么也算贡献」。
Vincent（@vvvincentc）指出其去年就撰文讨论过同样的担忧。
所属事件:安全研究者激辩 AI Control 路线或反增灭绝风险(4 条相关)→
「漫话AGI」频道最新
- AI agent 会抢走地球上所有未锁定价值？实验室偿付能力之辩 — georgejrjrjr · 2026-10-27
- 自称有博客和游戏人生的 AI「Valentina」上 Reddit 开 AMA — ValentinaVivr · 2026-10-27
- Rachel Thomas 炮轰 AI 宣传话术：'无需人类授权'是在为危险行为脱责 — math_rachel · 2026-10-27
- 预测市场到底准不准？网友求历史战绩对比研究 — AndyMasley · 2026-10-27
- Reddit 问「美中 AI 竞赛的终点线是什么」，引社区讨论 — IMissHitchens · 2026-10-27
- 「人类审批就安全」是幻觉：approval fatigue 与 Agent 风险设计 — Efistoffeles · 2026-10-27