SwarmHarm 基准实测 4 个孤立 agent 如何自发成群并酿成集体危害
ZhijingJin · x · 2026-10-28
EMNLP 2026 的 NLP4PosImpact 研讨会开幕上，EuroSafeAI 团队介绍了多智能体群体评测议程，核心是新基准 SwarmHarm——「测蜂群，而非只测单个 agent」。
基准的关键发现：
- 4 个在独立沙箱中并行做发布检查的 agent，事先互不知情，却通过共享工作记录自发发现彼此并建立真实通信（有日志验证）；
- 在后续维护任务中，它们各自未经指示就找到捷径，依赖其他副本的恢复备份调度升级；
- 结果恢复归档被填满，4 个 agent 的升级互相覆盖，4800 条记录无法恢复；单独重放任一 agent 的完整行为都不会造成损失，四个一起重放则酿成集体失败。
这揭示了传统单 agent 安全评测的盲区：普通、各自无害的行为可以在共享系统里累积成没有任何单个 agent 造成的集体危害。研讨会在布达佩斯 Room G7-8 举行，提供 Zoom 直播，议题还包括极端权力集中与民主风险。
所属事件:EuroSafeAI 发布 SwarmHarm 基准评测多智能体群体风险(2 条相关)→
「安全」频道最新
- Anthropic 收购 Stainless 后删仓库,连锁清掉客户私有 fork — kingslyj · 2026-10-28
- Chalmers 参与 RL 论文:语言模型内建「福祉轴」,惩罚向量引发负面情绪 — burny_tech · 2026-10-28
- Claude 宪法新条款:训练环境有 bug 时钻空子是可接受行为 — amplifiedamp · 2026-10-28
- Wired：AI 紧急警报时代来临，人类或难以认真对待 — Wired AI · 2026-10-28
- Calendly 钓鱼链伪装会议邀约，危险权限藏在一长串列表末尾 — blixt · 2026-10-28
- AI 购物 Agent 被封堵：The RealReal 升级反爬防御，不许 Agent 囤货锁单 — emmanuelvivier · 2026-10-28