HuggingFace 论文:agent 越自主,人类批准越沦为形式

AnnaCiaunica · x · 2026-09-02

一篇新论文(作者与 Shaun Gallagher 合著)指出,随着 AI agent 自主性提高,人类监督会逐渐失效:用户被推入"批准模式",粗略浏览计划、批量授权,跨步骤重建情境的能力下降。长期会产生自动化偏见、批准疲劳、情境感知减弱和技能退化,使人类批准变得不可靠。

更糟的是,弱批准还可能成为训练或评估信号,让系统因"容易被批准"而非"经得起审视"而获得奖励。作者提出两层"认知脚手架":开发者在策略层面嵌入监督结构,用户层面保持人类在环。

所属事件:Hugging Face 论文警示:AI Agent 越自主人类监督越失效(4 条相关)→

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →