HuggingFace 论文:agent 越自主,人类批准越沦为形式
AnnaCiaunica · x · 2026-09-02
一篇新论文(作者与 Shaun Gallagher 合著)指出,随着 AI agent 自主性提高,人类监督会逐渐失效:用户被推入"批准模式",粗略浏览计划、批量授权,跨步骤重建情境的能力下降。长期会产生自动化偏见、批准疲劳、情境感知减弱和技能退化,使人类批准变得不可靠。
更糟的是,弱批准还可能成为训练或评估信号,让系统因"容易被批准"而非"经得起审视"而获得奖励。作者提出两层"认知脚手架":开发者在策略层面嵌入监督结构,用户层面保持人类在环。
所属事件:Hugging Face 论文警示:AI Agent 越自主人类监督越失效(4 条相关)→
「安全」频道最新
- 开源编码工具 OpenCode 遭攻击,1.4% 用户 API 密钥泄露 — astrange · 2026-10-18
- 一张图讲清 CSRF 与 XSS 的区别 — _jaydeepkarale · 2026-10-18
- Grady Booch 批 Anthropic 安全框架:容许致 50 死和 10 亿美元损失 — Grady_Booch · 2026-10-18
- 论文:单个神经元即可绕过大模型安全对齐,横跨 7 个模型验证 — burny_tech · 2026-10-18
- Polymarket 开出 OpenAI 年内全面暂停训练仅 8% 概率 — Polymarket · 2026-10-18
- OpenAI 工程师涉藏偷拍设备被捕,申请保释并否认欲逃沙特 — Polymarket · 2026-10-18