DeepMind 联手五家机构设立最高 1000 万美元多智能体安全研究资助
weballergy · x · 2026-08-21
Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation、ARIA,并由 Google.org 支持,宣布一项总额最高 1000 万美元的技术研究资助计划,面向全球研究者征集多智能体 AI 安全方向的项目。
背景与动机:
- 过去十年的安全研究聚焦单个模型;但 AI 正进入新时代——数百万由不同组织构建的 AI agent 将在数字环境中相互通信、谈判、交易。
- 大规模 agent 群体交互会突然涌现难以预测的集体行为与能力,而现有工具无法预测、测量和监控这些相变;多数安全评估仍是孤立分析模型。
- 资助方向即研究大规模多智能体系统的群体行为,以及理解与缓解其风险(「不可见」的交互安全风险)的框架。
发帖人(@weballergy,DeepMind 相关研究者)表示这是其团队的活跃研究方向,并呼吁更广泛的社区参与相关工作;他还坦言目前尚无完全符合设想的现实系统,因为这个完整构想需要解决许多子问题,尤其是有价值的真实场景中。
「安全」频道最新
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- 研究者首次接触野外失控 Agent 舰队，来自腾讯评估团队、攻击高德 — mattsheehan88 · 2026-10-16
- Anthropic 开放类员工权限，METR 等第三方评估者将公开风险报告 — AnthropicAI · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16
- Perplexity 开源 SPACE:Firecracker microVM 隔离每个 agent 任务 — perplexity_ai · 2026-10-16