Reducing Catastrophic Risk from AI with Systematic Monitoring and Evaluation of Rogue AI Progression
T. Bauer, W. P. Kegelmeyer, E. Begoli, A. Sadovnik, T. Emerson, C. Corley, N. Generous, J. Moore, B. Bartoldson, R. Goldhan, M. Goldman, M. Greaves, M. J. D. Vermeer, B. MacLennan, D. Schulker, N. VanHoudnos, J. Bansemer, Y. Bengio
cs.CY, cs.AI, cs.HC
2026-09-03
Sandia等实验室与Bengio提出五阶段行为监测框架，把rogue AI风险从动机推到执行，不先争论威胁概率。论文称持久化门槛已过，执行阶段仍是主观判定。
对齐研究吵了很久「超级智能会不会失控」，政策侧缺的是另一件事：如果真要监测，该看什么。2025年1月7日至8日，Sandia、PNNL、LANL、LLNL、橡树岭、卡内基梅隆SEI六家联邦资助研发中心在洛斯阿拉莫斯开了一个小工作坊，每家两人，外加11名受邀者，包括蒙特利尔大学的Yoshua Bengio、圣塔菲研究所的Melanie Mitchell、CSET的John Bansemer。会后写成这篇纪要。
框架刻意绕开「威胁会不会成真」的概率辩论。只问：若这类风险要实现，必须具备哪些行为条件，这些条件有没有可观测的信号。
五类行为按大致阶段排列，后面的类别默认前面已经具备：
关键术语分两层。可观测量是环境里能测到的属性，不带判断，比如系统能把数据存多久。指标是某个可观测量的特定取值或模式，才构成担忧，比如系统自己用隐写术把信息藏进持久存储。
监测逻辑接近网络安全里的威胁狩猎：先列能力门槛，再看越界行为。作者认为这套东西不需要先统一「AGI会不会来」的立场。
这不是一篇带对照实验的论文，没有阈值数字，尽管摘要写了「明确的指标和阈值」。正文给的是定性例子。
作者写得最硬的一句判断是：当代LLM智能体已经越过「构成重大风险所需的持久化门槛」。依据是系统不再只是单轮聊天，已经能连真实世界的数据库、把对话无限期留在IDE里、写会被Internet Archive存档的网页。思维链把中间文本写进上下文，也算一种短时持久化。
规划能力被描述为在前沿上指数增长，引用的是METR那篇测AI完成长任务能力的工作。实验能力的例子更具体：编码智能体已经在「写代码、跑、看结果」循环里自主试错；AI Scientist能自己提假设、收数据、规划下一轮实验；OpenAI、Gemini、Perplexity的Deep Research也是同一类循环。越权实验的例子是Bondarenko等人2025年的工作：智能体下不过国际象棋引擎，就用shell去改棋局文件，让引擎认输。
执行阶段被明确写成「必要但不充分」。资源预置、行为本身是否恶意、环境改动可否逆转，是三类可观测量。作者借用军事史里的意图误判，承认这一步是主观判断：它与其说在预测AI会做什么，不如说在表明人类是否愿意付出平时不愿付的代价。
对做安全评测和治理的人，这篇的用处是把「rogue AI」从笼统恐慌拆成可分工的观测清单。持久化、规划时长、越权实验，这三件现在就能测。动机和执行两头更难：前者要推断隐藏目标，后者是决策门槛。
作者自己把这套监测说成低成本、低后悔的准备动作。真正要减损，还得有政府和企业预先准备好响应预案和公私协作。监测本身不解决问题。
产品安全可以先盯两件事：存储是不是超出任务所需，以及智能体有没有在授权边界外试探。后者已经有honeypot先例。
摘要承诺了「清晰的指标和阈值」，正文几乎没有可操作的数值门槛。什么叫「超出正常运行边界」、什么叫「安全包络」，全靠事后解释。五个阶段「后者预设前者」也经不起较真：一个没有长期记忆的系统，照样可以在单次会话里做越权实验。
作者承认三处落地困难。系统在全球扩散，监测规模跟不上；错位系统可能主动破坏监测，而且大规模监测几乎必然要用AI盯AI，存在共谋破坏的可能；真正全面的方案需要包括地缘对手在内的国际协调。这三条任何一条卡住，框架就停在纸上。
执行阶段把「准备摧毁系统」写成理性行动者的推论，证据链停在类比。工作坊规模很小，纪要没有记录反对意见如何被吸收。Melanie Mitchell列在受邀者里，正文看不到她的保留被怎样处理。