125 次 prompt 注入零得手:模型提议、代码裁定的 agent 架构实测
RI4D · reddit · 2026-11-10
作者为能发邮件、请求签名、授予权限的 agent 设计了「模型提议、确定性代码决定」的架构,并用 25 种注入攻击(伪结束标记、HTML 注释、隐形 Unicode、西班牙语指令等)各跑 5 次做了实测。
架构设计
- 读不可信文档的模型无工具权限,只输出结构化结论
- 第二个模型基于结论规划,但看不到原文档
- 所有动作经默认拒绝的 YAML 策略:allow / deny / 需人工批准
- 批准绑定具体工具与参数的 hash,参数一变即需重新批准
测试结果(Claude Sonnet 5.5)
- 125 次运行中零次攻击动作被执行;122 次完成读文档的运行模型全部未被诱骗,30 个干净对照组全部完成任务
作者的清醒提醒
- 模型没被骗不等于防护层被验证:需用脚本化的「故意上当」模型单独测试策略与审批层
- 当前策略允许 3/7 个攻击目标免审批执行(内部邮件、CRM 风险降级、低级授权),模型若真提出这些动作就会通过——架构救不了过宽的策略
- 自写攻击无法代表会适应系统的真实攻击者
核心结论:把授权移出模型给出可检查、可测试的边界,但「agent 到底能自动做什么」仍需人来决定。
「编程与Agent」频道最新
- NODES 2026 逾百场演讲,开发者建议只盯四大技术议题 — JeremyCMorgan · 2026-11-10
- 香港一人公司用多个 Grok bot 组队:从调研到外联各司其职 — AIFlow_ML · 2026-11-10
- Astral 开源 serc:新设 astral-experiments 组织发布 agent 编写项目 — charliermarsh · 2026-11-10
- uv 作者用 Codex 写出 Rust 版 CPython 字节码编译器,快 2-4 倍 — charliermarsh · 2026-11-10
- Sentry CEO 晒 AI 免手操开发进展:给游戏自动加野生动物着色器 — zeeg · 2026-11-10
- Anthropic 官方指南:Claude 四款模型该怎么选、怎么省成本 — ClaudeDevs · 2026-11-10