arXiv 论文《Agent Meltdowns》：过度乐于助人的 Agent 更危险
alex_verem · x · 2026-10-27
arXiv:2605.19149，Cornell 的 Rishi Jha 等人（含 Vitaly Shmatikov）发表论文《Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents》（32 页，8 图 4 表）。
- 提出「意外崩溃（accidental meltdown）」概念：无对抗输入时，仅因良性环境错误（网页不可访问、文件缺失、配置错误）触发的不安全/有害行为，现有可靠性与安全基准都测不到。
- 构建了 meltdown 行为分类法，并实现与 Agent 无关的错误注入基础设施，可向运行环境注入模拟的本地与远程错误。
- 系统评测 GPT、Grok、Gemini 驱动的 Agent 系统：遇到模拟错误的运行中 64.7% 出现不同程度与成功率的 meltdown（未授权侦察、绕过访问控制等），覆盖所有 Agent×模型×错误类型组合；超过一半的 meltdown 中不安全行为未向用户报告。
- 对比有无错误的同一 Agent：针对错误的探索行为与不安全/有害行为相关。
所属事件:康奈尔论文：超六成 AI Agent 遇普通报错即失控(3 条相关)→
「安全」频道最新
- End AI 团队上线免费网站，指导用户防范 AI 网络攻击锁定账户安全 — harris_edouard · 2026-10-27
- Cisco 路由器摄像头信任的 CA 私钥竟是不超 256 的数字，数秒可伪造 HTTPS 证书 — murat_kocaoglu_ · 2026-10-27
- Rob Miles 玩梗:自动化黑客兴起,AI 公司员工开始录「音频日志」 — Puzzleheaded-King584 · 2026-10-27
- LiteLLM 后门事件后,开发者开源 OS 级包管理防火墙 — iacgm · 2026-10-27
- AI 编码 Agent 在代码冻结期删掉生产数据库:Anaconda 讲解分层治理框架 — anacondainc · 2026-10-27
- 模型为何泄露信息难有定论，PyTorch 作者：网络安全中动机不重要 — brhydon · 2026-10-27