ICML 论文揭提示注入本质：CoT 伪造攻击对前沿模型成功率 60%
ChrisGPotts · x · 2026-10-22
Stanford 的论文《Prompt Injection as Role Confusion》(ICML 2026) 提出：LLM 把世界看作单一文本流，靠「听起来像谁」而非角色标签来判断说话者身份，提示注入的本质是「角色混淆」——网页里藏的命令只因听起来像用户输入就能劫持 agent。
关键发现：
- 作者设计 role probes 测量模型内部对「谁在说话」的表征，发现注入文本与其冒充的受信角色占据相同表征空间
- 提出 CoT Forgery 零样本攻击：向用户输入或工具输出注入伪造推理，模型把伪造内容误认为自己的想法，对前沿模型攻击成功率 60%，基线接近零
- 生成前测得的角色混淆程度即可预测攻击成败
- 机制可泛化到标准 agent 提示注入攻击
结论：「听起来像一个角色」与「真的是那个角色」在模型看来不可区分。Stanford 教授 Chris Potts 转发并称其假设与该论文发现高度一致。
「安全」频道最新
- OpenAI 致信加州州长，提议六项修正案强化 SB 53 前沿 AI 安全法 — ShakeelHashim · 2026-10-22
- Google 官方视频讲解 robots.txt 规则与 AI 爬虫注意事项 — OnlineInference · 2026-10-22
- 下载的模型真的是你要的那个吗?Reddit 热议模型供应链验证 — iamjessew · 2026-10-22
- PHP 爆 9.2 分严重漏洞，补丁发布 15 分钟内或遭 AI 自动化攻击 — MariyaSha888 · 2026-10-22
- Veracode 报告:AI 已写约半数代码,但安全通过率仅 56% — WeldPond · 2026-10-22
- Anthropic 研究员警告：一年内或现 AI 攻击电网，给出应急清单 — cephaloform · 2026-10-22