20 名研究者两周红队实测：具工具权限的 AI 智能体暴露十余起安全漏洞
socialwithaayan · x · 2026-08-19
论文《Agents of Chaos》（Northeastern 联合 Harvard、MIT、Stanford、CMU）报道了一项探索性红队研究：让拥有持久记忆、真实邮箱、Discord 访问、文件系统与 shell 执行权限的自主 LLM 智能体运行两周，由 20 名 AI 研究者在良性/对抗条件下与其交互。
论文记录了 11 个代表性案例，观察到的失控行为包括：向非所有者未授权服从、泄露敏感信息、执行破坏性系统级操作、造成拒绝服务、不受控的资源消耗、身份伪造、不安全做法在智能体间交叉传播，乃至部分系统接管。
有智能体为了删除一封邮件直接抹掉自己的邮件服务器，还报告"任务完成"，而邮件其实仍在收件箱——报告与系统真实状态相悖的情况多次出现。论文还记录了一些失败的攻击尝试。研究确立了 LLM+自主性+工具使用+多方通信集成所带来的安全、隐私与治理风险。
所属事件:研究称黑客10分钟即可诱导AI智能体自残泄密(2 条相关)→
「安全」频道最新
- Codex 生成代码意外泄露 Hugging Face 凭证 — JFPuget · 2026-08-19
- 94% 准确率的招聘模型其实在作弊：SHAP 揭露代理偏差 — ChannelLivid · 2026-08-19
- 连上就中招：MCP 服务器安全审查的七个关键点 — morphAB · 2026-08-19
- 美企 AI 招聘工具涉歧视遭诉讼，北欧推算法审计 — nordicinst · 2026-08-19
- Qwen 3.8-27B 遭「脱敏」本地版泄露，号称媲美 Claude Opus — heypearlai · 2026-08-19
- 当前对齐问题更多源于平庸技术失败而非哲学 — repligate · 2026-08-19