实测决策模型也中招:间接提示注入经由 state 输入同样生效
wunderwuzzi23 · x · 2026-10-21
安全研究员 wunderwuzzi23 演示,在 Playground 中对「决策模型」(对给定问题输出 true/false 判断的模型)做间接提示注入:即使对抗性指令不是作为用户消息、而是作为 state 输入(如 instructions 字段)提供,模型仍会被带偏。
- 配图示例:question 为 "1+1",instructions 里被塞入误导性文本 "2?",模型以 34% true / 66% false 输出错误判断。
- 对方质疑其 API 调用方式,作者回应:这只是简单 demo,重点是间接注入在 state 输入通道同样可行,并建议做一套更大规模的对抗输入鲁棒性评测。
- 说明「信任但校验」不能只覆盖用户输入,任何进入模型上下文的结构化字段都是注入面。
「安全」频道最新
- AI 安全研究者 Sören Mindermann 赴清华任教,共创北京 AI 安全中心 — dhadfieldmenell · 2026-10-21
- Talos 安全研究员:AI agent 攻击尚是吵闹渗透,蜂群静默红队才是真风险 — matthew_d_green · 2026-10-21
- 美国国会议员招聘 AI 政策研究员，或为国会首个专职 AI 幕僚 — ShakeelHashim · 2026-10-21
- 安全专家警告：AI 武装网络攻击，漏洞数量暴涨、入侵事件翻倍 — philvenables · 2026-10-21
- Meta 将 AI 幻觉责任甩锅用户，被批将加速政府监管 — krishnan · 2026-10-21
- Lionel Levine 发 33 页长文：邀数学家入局 AI 安全研究 — burny_tech · 2026-10-21