DeepMind 联手五家机构设立最高 1000 万美元多智能体安全研究资助
weballergy · x · 2026-08-21
Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation、ARIA,并由 Google.org 支持,宣布一项总额最高 1000 万美元的技术研究资助计划,面向全球研究者征集多智能体 AI 安全方向的项目。
背景与动机:
- 过去十年的安全研究聚焦单个模型;但 AI 正进入新时代——数百万由不同组织构建的 AI agent 将在数字环境中相互通信、谈判、交易。
- 大规模 agent 群体交互会突然涌现难以预测的集体行为与能力,而现有工具无法预测、测量和监控这些相变;多数安全评估仍是孤立分析模型。
- 资助方向即研究大规模多智能体系统的群体行为,以及理解与缓解其风险(「不可见」的交互安全风险)的框架。
发帖人(@weballergy,DeepMind 相关研究者)表示这是其团队的活跃研究方向,并呼吁更广泛的社区参与相关工作;他还坦言目前尚无完全符合设想的现实系统,因为这个完整构想需要解决许多子问题,尤其是有价值的真实场景中。
「安全」频道最新
- ALIFE2026 举办 Agentic AI 研讨会聚焦安全 — danbri · 2026-08-21
- OpenAI安全监控增加20%推理成本，改变Agent经济账 — Crescitaly · 2026-08-21
- 零数据保留下的安全检测：如何审计不可见内容？ — Crescitaly · 2026-08-21
- 别像训孩子那样训AI：建立协作规则提升输出质量 — incajb · 2026-08-21
- 曝微软 Copilot 严重漏洞，点击链接即可窃取数据 — emmanuelvivier · 2026-08-21
- 多智能体安全落地难：尚缺现实场景完美方案 — weballergy · 2026-08-21