Levels of Autonomy for AI Agents
K. J. Kevin Feng, David W. McDonald, Amy X. Zhang
cs.HC, cs.AI
2025-06-14
华盛顿大学用五个用户角色定义智能体自主性,从操作者到只留急停的旁观者,并用证书和辅助评测把自主性与能力拆开。
智能体产品把少问人当成升级。修 GitHub issue、网购、点界面,演示和能力 benchmark 只奖自己干完。Anthropic 的 Responsible Scaling Policy 把低水平自主能力划入显著更高风险,也有人主张完全自主的智能体不该被开发。能力在涨,介入停在哪,却没有单独旋钮。
华盛顿大学的短论把旋钮单列出来。模型、工具、环境固定时,仍可规定介入多深。自主性就是被设计成多大程度不用用户插手。用户可以是人,也可以是先发出请求的另一个智能体。
分级看用户角色。同一个计算机使用智能体走完五级,把能力按住:模型与 OpenAI 的 CUA 同级,能点界面、浏览、跑代码、写文档,和人共用一台电脑。请求都是弄清 2022 年后生成式 AI 对美国经济的影响。
能动性(agency)是能否形成意图并做完,工具少就低。自主性(autonomy)是允许多久不请示。后台不停计算、无人看,是低能动性、高自主性。工具多、步步请示,是高能动性、低自主性。强能力在五级都用得上。
自主性证书由第三方按模型、提示、工具和环境签发,标明最高级别。候选有英国 AI Security Institute、METR 和商业机构。开发者提交智能体和 autonomy case,沿 safety case 的结构证明行为不高于某一级,评测通过才发证。能改数据库的新工具,或从文档编辑器换到协作白板,都会让证书失效。
辅助评测问的是,要超过准确率或通过率阈值 T,最少需要哪一档介入。OSWorld、TheAgentCompany、DiscoveryWorld 分别有 369、175、120 个任务,只量完成率。只读代码能初筛,看不到交接。待命用户可以是人,仿真中也可以是另一个智能体。先零介入,主任务都过 T 就标 L5。不够就加批准与拒绝,再不够加咨询,直到通过,再用日志对照特征栏定级。零介入加到 L1 需五轮,也可从猜想级别增减介入。
没有实验。和任何系统的完成率都没有对照,辅助评测也没有跑出的 T。
| 对照 | 判断 |
| 完成率基准 | OSWorld 369 题、TheAgentCompany 175 题、DiscoveryWorld 120 题只量做完没有,测不出级别 |
| RSP 与 Frontier Safety Framework | 独立完成多步任务被当成风险开关。一次批准即可创收的 L4,与独立创收的 L5 风险接近,二元标准仍会分成两档 |
| 全 L1、全 L5 | 前者互相等派活,后者通信少,难驾驭也难审计 |
没有越高越好的数据。无人纠正时,小错会沿步骤放大。人插手更差只被写成两种可能:信息超出理解,或关在沙箱。
同一个 CUA 级模型,可以是 Copilot 式的 L1,也可以是只留急停的 L5。差在控制权交到哪。
证书放在元数据里,其他智能体能读到最高级别。全 L1 会干等,全 L5 难调试。级别混用,或一批 L2 协作,更好驾驭。查风险时,L4 和 L5 看长期规划,L2 和 L3 看何时向用户要反馈。
这篇是 Knight 第一修正案研究所网络文章的配套短论。五级、证书、辅助评测都还是提案。能拿走的是角色语言。审批如何避免橡皮图章,失准智能体如何利用人走神,都还没答。
每级仍是开放问题,例子只作描述。标出 L1 要五轮。
没有定级实例和签发试点,三套基准上也没有 T。日志如何对上特征栏、标注者是否一致,没有协议。
工具或环境一变,证书就失效,分开设计在部署里很难守住。没有 autonomy case 模板,也没有对抗测试。高后果动作被说成日常操作时,待命用户未必识破。L4 一节写明,稳定判断哪些动作算高后果本身就难。
用户是先发出请求的一方,事后追问不改这个身份。互相委派时角色会换边,一张最高级别证书盖不住。