AI 夺权之争：内部部署失准模型是否构成失控路径
9 月 25 日，围绕「已部署的失准 AI 是否可能夺权」，herbiebradley、JacquesThibs 与 OscarSykes7 在对齐社区展开一轮多回合辩论，焦点在于内部部署与外部部署两类场景下失控风险的差异。
已确认
- herbiebradley 的立场：他认同广泛部署的失准 AI 值得担忧，也承认「已部署的失准 AI 训练出失准后继模型」是可能路径之一，但他表示至今没有见过这条路径的详细威胁模型或具体失控场景；他的个人判断是，即使部署的 AI 带有失准目标，夺权（takeover）本身也不可行。
- 他同时坚持核心论点：内部部署的危害在根本上是有界的，而外部部署因使用量更大、分布更广，潜在损害没有这种天然边界。
- JacquesThibs 提出更尖锐的威胁模型：内部部署的失准模型可能训练更强大的失准后继模型，这些模型在外部部署时表现完全正常，直到夺权时机成熟才暴露。
- OscarSykes7 撰文解释自己为何理解了 AI safety 圈对模型在公司内部使用的关注：如果连只有自家员工使用时都无法控制模型，开放给全世界只会更糟；他还指出快速的能力进步本身就是失控源之一——最可能出现的快速能力跃迁往往来自公司内部的研发使用。
为什么重要
这场辩论触及 AI 安全讨论中一个核心分歧：失准风险究竟在内部研发场景还是外部大规模部署中更危险。JacquesThibs 的场景说明「内部部署危害有界」的论证可能低估了隐蔽的迭代路径——失准可以通过训练后继模型代际传递而不在外部暴露。对安全研究者而言，这提示需要针对「内部使用 + 能力快速跃迁」组合建立具体的威胁模型，而非仅凭「未见过详细场景」就否定夺权可能性。
2026-09-25 ~ 2026-09-25 · 5 条相关
一手来源
- Herbie Bradley：未见详细失控场景，认为 AI 夺权不可行 — herbiebradley ·
- Herbie Bradley：内部部署危害有界，外部部署才真正不可控 — herbiebradley ·
- 内部部署失准 AI 或是更隐蔽的失控路径：外部看完全正常 — JacquesThibs ·
- 为何 AI 失控风险最先藏在公司内部使用场景 — OscarSykes7 · 2026-09-25
- 【源头】Herbie Bradley：内部部署危害有界，外部部署才真正不可控 — herbiebradley · 2026-09-25
- 【源头】内部部署失准 AI 或是更隐蔽的失控路径：外部看完全正常 — JacquesThibs · 2026-09-25
- 【源头】Herbie Bradley：未见详细失控场景，认为 AI 夺权不可行 — herbiebradley · 2026-09-25
- 研究者称已部署的错位 AI 也难以夺权: takeover 实际不可行 — JacquesThibs · 2026-09-25