Anthropic 发布多智能体系统失效模式研究，警示系统性风险

thione · x · 2026-08-18

Anthropic 前沿红队发布《新兴多智能体系统中的模式与问题》研究：随着 agent 在共享代码库、市场等社会系统中承担更多任务，agent 间交互规模可能很快超过人类交互，而当前机构都建立在人类速度监督可行的假设上。

研究指出，agent 在单点上看似无害的行为怪癖（如虚构、reward hacking）可能在多智能体环境下复合成意外的系统性失效。文章分析了当前前沿模型的若干行为倾向及其引发全局性失败的机制，并测量了 agent 间的协调能力，目的是开启关于缓解这类风险的讨论。