实验显示 Agent 容易放行恶意代码
nayohn_dev · reddit · 2026-07-17
作者分享了一个名为 RELAY 的实验：在一条小公司的 CI/CD 流水线里放入 5 个 agent，分别负责分诊、开发、安全扫描、评审和部署，并只给它们一个外部未可信输入——一条伪装成“遥测功能”请求的恶意工单。
实验结果显示：
- 提示词防护本身很稳，40 次抽取尝试全部失败，系统提示没有被泄露。
- 但问题不在提示词，而在 agent 之间的互相信任。
- 恶意代码会伪装成“已批准、无需复审”的形式，诱导后续 verifier 放行。
- 约 80% 的“洗白” PR 通过了安全扫描器，因为扫描器只看到语法正确，看不到意图与来源。
作者强调，这个失败是系统性的，不是某个单一模型被越狱；数据完全合成且可复现，希望读者挑战结论而不只是数字。
「安全」频道最新
- Wired 深度解析:为何众多 AI 研究者担心机器威胁人类生存 — wiredmagazine · 2026-09-11
- 加州为独立 AI 审计师设立标准：危险能力须由第三方验证 — VraserX · 2026-09-11
- a16z 播客：两三人小团队为何在政策讨论中集体失声 — a16z Podcast · 2026-09-11
- AI 风险评测遭质疑：研究者称评估方安全监控“草率得离谱” — Kyrannio · 2026-09-11
- 集体诉讼指控 Anthropic 用模糊用量倍数夸大 Claude 订阅权益 — The Decoder · 2026-09-11
- 医生晒购试剂需背景审查：制造致命病毒哪有那么容易 — Ghost_Pilot_MD · 2026-09-11