模型难辨提示词与上下文,研究者讨论 prompt injection 根因

jeremyakahn · x · 2026-09-18

AI 安全研究者 mmitchellai 在 X 上指出一类 prompt injection 风险的根源:模型自己生成的文本(关于自身任务的内容)会被以与开发者 system prompt 同等的权限重新喂回模型。她认为修复方向至少应做来源/权限分离——模型自己写下的任务文本应作为不可信或低可信数据重新摄入。

jeremyakahn 回应称,这正是 prompt injection 攻击有效的核心原因:模型难以把 prompt 与其他上下文区分开。讨论聚焦于上下文信任分级这一具体安全设计议题。

所属事件:AI安全研究者探讨提示注入根因与防护新思路(4 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →