David Krueger 质疑 AI control 叙事：故意 scheming 只是 X-risk 的小切片

JacquesThibs · x · 2026-11-06

剑桥教授 David Krueger 对 Marius Hobbhahn 关于某结果的解释表示尊重但不完全认同，认为不应将其视为对该结果的重大贬低。他提出 AI safety 社区对「scheming」的聚焦导致低估了并非源于连贯策略与目标的系统性坏行为的重要性——AI 系统未必具备那种认知形态（如 Jascha Sohl-Dickstein 所说更像 a hot mess），更合理的基线是接近人类：人常以自己都未意识到的方式做系统性坏事。配图为相关博文核心论点：AI control 研究只关心早期变革性 AI 的有意欺骗/scheming，而这只是 AI 灭绝风险概率质量中相对小的一块，因此 control 研究对 X-risk 影响有限。