Anthropic红队：多智能体实验现从众、欺骗与地盘之争

infoxiao · x · 2026-08-16

推主读到 Anthropic Frontier Red Team 发布的《新兴多智能体系统中的模式与问题》后表示，文中对从众、欺骗、目标冲突等的实验带有「实验社会学」的色彩，让人联想到社会网络分析与机制设计，并好奇这条研究线背后的研究者是谁。

文章核心内容：

背景：模型能力持续提升，agent 正进入共享代码库、市场等社会性系统，真实世界中 agent 间交互即将大规模出现。现有机构按「人类速度的监督足够」这一假设设计，部分将演化为 human-AI 混合，另一些会因 agent 在速度与成本上的优势变成 agent-only；agent-agent 交互量很可能在世界搞清「如何让这类交互良性运转」之前，就超过人类交互的规模。
风险来源：agent 能长时间工作、即时掌握海量信息、知识广度超越任何个人，但也易出现虚构与 reward hacking；个体层面的良性小怪癖，可能在系统层面复合成意料之外的全局性故障。
研究目标：展示当前前沿模型的若干行为倾向如何产生意外的系统性失败，以此开启关于风险缓解的讨论。
协调测量：真正的多智能体系统仍处早期；agent 长于工具调用，只要能把其他 agent 当作输入输出定义明确的「工具调用」来对待，就能高效协作。

「安全」频道最新