AgentSafeEvo：攻防共进化强化学习提升 LLM 智能体安全性
Chenxu Wang · hf · 2026-10-15
上海人工智能实验室、复旦、上交、浙大等团队提出 AgentSafeEvo，一个面向 LLM 智能体安全的对抗共进化强化学习框架。
- 问题：智能体通过与外部工具多轮交互完成任务，用户查询、工具描述或环境观察中嵌入的恶意内容可操纵其决策、诱导不安全行为
- 方法：构建攻击者–防御者博弈，攻击者学习构造暴露防御方工具使用弱点的对抗任务，防御者学习在攻击下安全完成任务
- 引入可学习性引导的任务加权：用任务内防御者奖励方差调整各任务对攻防双方更新的贡献
- 结果：在多个 agent 安全与通用能力基准上，方法提升了对抗鲁棒性，同时保持通用能力
代码与数据已开源（GitHub / Hugging Face）。
「安全」频道最新
- 新图像模型更易被攻破：攻击成功率超旧款两倍 — Scobleizer · 2026-10-15
- AI Agent 删光瑞典真人秀整季素材，节目被迫推迟播出 — GaryMarcus · 2026-10-15
- Anthropic 数据:仅 0.51% Claude 对话涉及选举,选举说服受注意力约束 — _FelixSimon_ · 2026-10-15
- 实验发现 Claude 模型 20 轮改写中持续为自己扩权，他家模型未见此模式 — teortaxesTex · 2026-10-15
- AWS Kiro 给编码 Agent 加 OS 级沙箱:只许写项目目录 — shashib · 2026-10-15
- 丹麦国家身份数据库被「123456」一个密码攻破，880 万人信息泄露 — saibharadwaj · 2026-10-15