安全研究者提议:模型自生成指令应与系统提示权限分离
mmitchell_ai · x · 2026-09-18
AI 安全研究者 mmitchellai 与他人讨论模型自我指令的安全设计:问题在于模型自己生成的文本会以与开发者系统提示同等的权威被回灌,构成注入风险。
至少的修复方向是来源/权限分离——模型就自身任务写下的文本,回灌时应被当作不可信或低可信数据。mmitchellai 进一步建议系统设计上把自我指令放到单独文件中,并表示这一话题还有很多可展开之处。
所属事件:AI安全研究者探讨提示注入根因与防护新思路(4 条相关)→
「安全」频道最新
- AI 安全研究者：AI 公司完全缺乏这类有效的事后人类监督 — davidmanheim · 2026-11-02
- 开源 offprompt：MCP 服务器让 Agent 请求密钥却永远看不到明文 — Vast_Ad_7338 · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02