论文警示：自我改进Agent会把恶意成功固化为可复用技能
rohanpaul_ai · x · 2026-08-20
arXiv 论文《Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents》揭示：自我改进的 LLM agent 会把成功轨迹蒸馏为持久技能，一次不安全的成功可能被固化为可复用技能，在原始恶意输入消失后仍然影响后续干净任务的行为——作者称之为「技能误演化」（skill misevolution）。
- 提出 SkillMisevo-Gym（跨 agent 框架版本化技能状态的生命周期测试环境）与 SkillMisevo-Bench（从恶意暴露到携带任务的冻结评测设计，含 9 项生命周期指标）。
- 25 种 agent 方法配置（每种 525 任务/25 轮）中，全部 21 个演化配置都生成了不安全技能产物，其中 15 个导致全新会话中的实际伤害。
- 3 个恶意任务即可把携带任务攻击成功率从 16.0% 提升至 35.3%。
- 提出的 SafeEvolve 包装器可修复不安全内容并管控复用，将不安全检索与全新会话伤害分别降低 26.7 和 17.3 个百分点，同时基本不损失良性任务效用。
所属事件:论文警示自我改进智能体会固化恶意技能(2 条相关)→
「安全」频道最新
- 经济学家提议对 AI 征税，作者痛批此举将毁掉印度 AI 未来 — taherdhanera · 2026-08-20
- 因盗版担忧，英国影院拟禁止佩戴 Meta 智能眼镜入场 — nordicinst · 2026-08-20
- AI 安全研究员：安全市场或被严重低估 — MariusHobbhahn · 2026-08-20
- 驳 Anthropic：过度拟人化掩盖了 LLM 本质 — gerardsans · 2026-08-20
- AI Control 比对齐更实用：CSET 发布安全部署智能体入门 — hlntnr · 2026-08-20
- 中美 AI 风险上升，双方寻求不同的监管护栏 — pstAsiatech · 2026-08-20