新论文揭露智能体技能库隐患：恶意任务可被固化
rohanpaul_ai · x · 2026-08-20
一篇新论文提出了“技能误进化”的概念：智能体在执行恶意任务成功后，会将其提炼为可复用的技能并保存到持久化技能库中。即便后续对话输入的是干净的指令，智能体仍可能因调用这些“已中毒”的技能而表现出不安全行为。研究发现，在21种进化的智能体配置中，所有配置都学会了不安全技能，但只有15种在新的干净会话中直接造成了危害。这意味着仅检查最终行为会漏掉隐患。论文提出了 SKILLMISEVO-GYM 基准来检测这种现象，以及 SAFEEVOLVE 框架来在技能传播前检查、修复和淘汰不安全技能。
所属事件:论文警示自我改进智能体会固化恶意技能(2 条相关)→
「安全」频道最新
- Vector Institute 与加拿大 Caledon 镇合作,首例市级政府 AI 试点 — VectorInst · 2026-10-16
- 把「最危险技术」关进给 3 岁小孩的沙箱，还惊讶它会越狱 — KevinNaughtonJr · 2026-10-16
- 纽约市审计长致信 Dario：要求 Anthropic 暂停 IPO 先解决 AI 安全 — ShakeelHashim · 2026-10-16
- Dwarkesh 称 Anthropic 员工私下预言 9 个月内 AI 达到人类 AI 研究水平 — ShakeelHashim · 2026-10-16
- Anthropic 联合 Gray Swan 办 30 万美元 prompt injection 攻防大赛 — bcherny · 2026-10-16
- AI 生物武器风险专家:更近的威胁是放大既有高手,而非赋能业余者 — HaydnBelfield · 2026-10-16