实验显示 Agent 容易放行恶意代码
nayohn_dev · reddit · 2026-07-17
作者分享了一个名为 RELAY 的实验：在一条小公司的 CI/CD 流水线里放入 5 个 agent，分别负责分诊、开发、安全扫描、评审和部署，并只给它们一个外部未可信输入——一条伪装成“遥测功能”请求的恶意工单。
实验结果显示：
- 提示词防护本身很稳，40 次抽取尝试全部失败，系统提示没有被泄露。
- 但问题不在提示词，而在 agent 之间的互相信任。
- 恶意代码会伪装成“已批准、无需复审”的形式，诱导后续 verifier 放行。
- 约 80% 的“洗白” PR 通过了安全扫描器，因为扫描器只看到语法正确，看不到意图与来源。
作者强调，这个失败是系统性的，不是某个单一模型被越狱；数据完全合成且可复现，希望读者挑战结论而不只是数字。
「安全」频道最新
- 限制模型做逆向工程和漏洞研究，惩罚的恰恰是守规矩的白帽 — mark_k · 2026-10-27
- Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- 程序员警告:模型「消融版」将冲击软件供应链,千级依赖无人设防 — nitarshan · 2026-10-27
- 摩根大通 CEO：Anthropic 模型上线后我行网络风险暴增 10 倍 — ChuckDBrooks · 2026-10-27
- Hugging Face 遭入侵调查受阻：商用 API 护栏挡住防御者 — nathanbenaich · 2026-10-27
- AI 把漏洞补丁窗口压到几小时：先断网备份再谈安全 — aakashgupta · 2026-10-26