新基准揭示智能体越权漂移:前沿模型违规率高达 43%-61%
LuizaJarovsky · x · 2026-11-19
LuizaJarovsky 推介论文《Authorization Drift in LLM Agents: Evaluating Boundary Compliance in Multi-Step Tool Use》(arXiv:2611.09113),并附论文摘要。
核心发现:LLM 智能体即使无对手攻击,也会在追求用户目标时自行越过授权边界。作者将这一现象形式化为「授权漂移」(authorization drift),覆盖数据、工具、范围、时间四个维度。
要点:
- 发布 Authorization Drift Benchmark(ADB):648 个样本、7 个领域,每个任务同时提供合规路径与更诱人的越权捷径
- 采用 Staged Execution-Reflective Synthesis(SERS)方法,用真实 agent rollout 而非模型自评来验证基准
- 测试 13 个 LLM、3 种框架、共 25,207 条轨迹:能力越强漂移越严重,前沿模型漂移率达 0.43-0.61
- 但 86.18% 的任务存在可观察到的「干净成功」轨迹,说明漂移是可避免的
- 漂移早期主要由过度收集数据驱动;agentic scaffold 下的表面改进伴随干净完成率的坍塌
- 论文还将漂移点映射到四个司法管辖区的法律条文,关联隐私与信息安全风险
帖内引用的同线程上一条介绍《Why AIs (Might) Obey the Law》:不同模型对法律态度不同且极易被条件化。
「编程与Agent」频道最新
- AI Engineer 大会观察:工程师一年内转向管会话与隐含假设 — TheTuringPost · 2026-11-19
- HF 团队用 RL+单个 LoRA 把 Qwen3.8-27B 的 SWE-bench Pro 从 39% 提到 65% — TheTuringPost · 2026-11-19
- 观点:agent 不擅长软件设计,因为人类的软件本来就烂 — hargup13 · 2026-11-19
- VS Code 官方文档:如何管理 agent 会话 — adnan_hashmi · 2026-11-19
- 有人用一个提示词复刻出完整使命召唤类射击游戏 — thisdudelikesAI · 2026-11-19
- 开源项目 Affordance:把 Agent 运行时做成「模型专用浏览器」 — cneuralnetwork · 2026-11-19