北大×腾讯发布智能体安全综述:风险贯穿来源、编排、执行全生命周期

机器之心 · wechat · 2026-11-14

当大模型从聊天助手走向能自主调用工具、读写记忆的通用智能体,安全问题的核心从「输出是否合规」变成「它加载了什么能力、执行了什么动作、留下什么状态」。北京大学知识计算实验室(KCL)与腾讯微信安全团队联合发布综述论文《Pandora's Toolbox》,从生命周期视角系统梳理通用智能体的安全风险、攻击方法、评测基准与防御技术。

论文将智能体运行划分为来源、编排、执行三个阶段,并强调「持久反馈」:一次攻击可以伪装成良性技能进入系统,在编排阶段被选中,在执行阶段触发危险操作,最后把污染写入长期记忆或可复用技能,跨会话存活。综述总结了技能供应链投毒、用户侧自动化越狱、长期记忆后门、外部环境提示注入四类攻击面,并归纳出输入过滤、决策完整性保护、运行时监控三层防御体系,以及面向自进化智能体的「风险生成—风险诊断—安全演化」闭环。