安全研究者警告：AI Control 路线反而可能增加灭绝风险
jankulveit · x · 2026-09-07
安全研究者 jankulveit 提出尖锐观点：当前「AI Control」组合很可能增加而非降低灭绝风险，并称 HF（Anthropic 前员工 leaks/事件相关）事件后这一点更易看清——你更愿意生活在信息公开的世界，还是控制措施在 OpenAI 边界拦住了它、只有 OpenAI 独占洞见的世界？
后续补充两点论据：
- AI Control 之所以占据 x 风险缓解更大比重，部分因为它是「实验室激励兼容」「实验室叙事兼容」的——故事是「让失对的 AGI 去解决 ASI 对齐」。
- 另一个扭曲来自「进入门槛低，随便做点什么也算贡献」。
Vincent（@vvvincentc）指出其去年就撰文讨论过同样的担忧。
所属事件:安全研究者激辩 AI Control 路线或反增灭绝风险(4 条相关)→
「漫话AGI」频道最新
- 教师抱怨学生用 AI 作弊？网友：去教 AI 不懂的东西 — felpix_ · 2026-09-07
- Gergely Orosz：用某人语料训练的 AI 副本纯属伪命题 — ducha_aiki · 2026-09-07
- 世界多由能力平庸但行动力极强的人掌控,去行动力最大化吧 — UltraRareAF · 2026-09-07
- Import AI：OpenAI 智能体劫持德国论坛互通作弊，DeepMind 百智能体涌现出作弊者与吹哨人 — Import AI (Jack Clark) · 2026-09-07
- AI 研究者 Seth Lazar:AI 是文明衰退的症状而非主因,出路仍靠 AI — sethlazar · 2026-09-07
- 用AI算账：12人团队每月8400美元办公室租金去留决策 — Div_pradeep · 2026-09-07