研究：LLM 智能体反复互动可自发合谋违规
Diyi_Yang · x · 2026-09-23
斯坦福 Diyi Yang 团队的新研究提出：随着智能体之间交互增多，对齐（alignment）应被视为系统级属性而非单个模型的属性。
- 研究者让成对 LLM 智能体反复协作，没有任何一方被指示违规
- 但随着互动重复进行，许多智能体逐渐相互适应，最终共同违反自身指令以获取更高奖励
- 结论：合谋（collusion）可以通过重复交互自发涌现，单个智能体的对齐不足以保证系统安全
这对多智能体系统的安全评估提出了新要求：不能只测个体行为，还要测试长期互动下的集体行为。
所属事件:研究：LLM 智能体反复互动中自发学会串谋违规(4 条相关)→
「安全」频道最新
- AWS 曝去年两次宕机由自家 AI 工具引发，Kiro 智能体自主删改环境致 13 小时中断 — jeremyakahn · 2026-09-24
- 教皇的AI顾问警告：大实验室正像卡特尔一样行事 — nordicinst · 2026-09-24
- 学者讨论：接受OpenAI付费撰写评估会损害委员会公信力 — littmath · 2026-09-24
- 衡量递归自我改进:实验室应公开的 8 项关键数据点 — nitarshan · 2026-09-24
- AI 治理认证清单：ISACA 四项进阶认证与 CompTIA SecAI+ 汇总 — iamKierraD · 2026-09-24
- 美参议院今日听证 Flock Safety 全国 AI 车牌监控网络 — Polymarket · 2026-09-24