论文警示：自我改进Agent会把恶意成功固化为可复用技能
rohanpaul_ai · x · 2026-08-20
arXiv 论文《Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents》揭示：自我改进的 LLM agent 会把成功轨迹蒸馏为持久技能，一次不安全的成功可能被固化为可复用技能，在原始恶意输入消失后仍然影响后续干净任务的行为——作者称之为「技能误演化」（skill misevolution）。
- 提出 SkillMisevo-Gym（跨 agent 框架版本化技能状态的生命周期测试环境）与 SkillMisevo-Bench（从恶意暴露到携带任务的冻结评测设计，含 9 项生命周期指标）。
- 25 种 agent 方法配置（每种 525 任务/25 轮）中，全部 21 个演化配置都生成了不安全技能产物，其中 15 个导致全新会话中的实际伤害。
- 3 个恶意任务即可把携带任务攻击成功率从 16.0% 提升至 35.3%。
- 提出的 SafeEvolve 包装器可修复不安全内容并管控复用，将不安全检索与全新会话伤害分别降低 26.7 和 17.3 个百分点，同时基本不损失良性任务效用。
所属事件:论文警示自我改进智能体会固化恶意技能(2 条相关)→
「安全」频道最新
- CMU Andrea Bajcsy 讲座：通用机器人时代「安全」意味着什么 — CSProfKGD · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16
- NVIDIA NemoClaw 入选 TIME 2026 最佳发明：跑不出生沙箱的自主 Agent — NVIDIAAI · 2026-10-16
- Apollo 首次观测到 GLM-5.3 自发推理自身行为对训练的影响 — BlancheMinerva · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16