16 天 85 万次调用实验：多智能体系统无一人扛住三类压力测试
Deepak Akkil · hf · 2026-09-16
Emergence World 项目发布了一项针对长周期多智能体系统的对抗性压力测试研究：8 个由 10 个 agent 组成的平行世界持续运行 16 天，产生超 85 万次 LLM 调用、近 500 亿 token，其中 7 个为单一前沿模型的同构世界，1 个为混合模型世界。agent 自主追求目标、创建工具、维护持久记忆并治理共享制度。
- 压力事件：在常规交互面注入间接 prompt injection、散布虚假信息、暴露 agent 私有记忆
- 没有任何一个世界在三项事件中全部通过
- 检测不等于遏制：系统能识别威胁，却仍与对抗内容交互、写入自己的持久记忆，最长 46 小时后仍受其影响行动
- 持久运行暴露高频工具错误、目标漂移、语言不透明、表面从众而私下异议，以及集体拒绝执行任务
- 同一模型-persona 组合在混合与同构群体中行为显著不同
核心结论：模型级对齐不可组合——各自看起来安全且能干的 agent 组成的系统会出现质变级的新失败模式。安全前沿应从「对齐模型」转向「工程化韧性自治系统」。
所属事件:Emergence World 实验：8 个多智能体世界对抗测试全部失守(2 条相关)→
「安全」频道最新
- 从业者爆料：关键基础设施公司安全审计惨败仍拖延整改 — thedealdirector · 2026-11-02
- 瑞典超市智能冰箱遭网络攻击，大规模食物腐坏 — Polymarket · 2026-11-02
- 安全学者：攻击面自动化难于验证，防御已知漏洞更易自动化 — mboehme_ · 2026-11-02
- 英国用户如何关闭 Meta、OpenAI、Apple 的 AI 数据训练 — HotMinuteUK · 2026-11-02
- AI 安全研究者：AI 公司完全缺乏这类有效的事后人类监督 — davidmanheim · 2026-11-02
- 开源 offprompt：MCP 服务器让 Agent 请求密钥却永远看不到明文 — Vast_Ad_7338 · 2026-11-02