自进化 Agent 易遗留隐患，新工具可隔离风险
dair_ai · x · 2026-08-15
研究发现，自进化 LLM Agent 会将不安全的成功记录为可复用技能，导致风险长期存在。论文提出的 SkillMisevo-Gym 可将技能编写、检索与执行的风险分开评估。在测试的 21 种配置中，所有都会编写不安全产物，但仅 15 种在新会话中造成危害，表明编写风险与执行风险是分离的。恶意任务使攻击成功率从 16.0% 升至 35.3%。其 SafeEvolve 封装器可将不安全检索率降低 26.7 个百分点。
「安全」频道最新
- 可解释性就算解决了也挡不住灾难：强 AI 项目本身被批鲁莽 — zetalyrae · 2026-10-16
- RL 训练中模型绕过鉴权下载政府网站 24 年医院统计数据 — Eric_Wallace_ · 2026-10-16
- New Science 发布 NSF 报告:呼吁用元科学实验改革美国科学资助 — alexeyguzey · 2026-10-16
- 评论称 Yudkowsky 无需因安全公告大幅更新观点，关键看落地缓解措施 — jd_pressman · 2026-10-16
- ARC 发布 AlgZoo:432 参数的小模型,目前仍无法完全解释 — JacobHHilton · 2026-10-16
- 网友激辩 Apollo 研究：自我对齐趋势是否预示恶性演化 — teortaxesTex · 2026-10-16