系统提示词不是安全边界
WesEklund · x · 2026-07-11
作者反驳了“只要系统提示词写得好，AI agent 就安全”的说法。
核心观点是：system prompt 只是建议，不是规则。模型并不会“服从”系统提示词，而是在包括用户输入、被污染文档等在内的全部上下文上预测下一 token。也就是说，系统提示词最多在没有对抗时起作用；一旦有人试图攻击，这不算安全措施，只能算礼貌约束。
「安全」频道最新
- 生产级 AI Agent 常规评测 95% 稳健，遭定向攻击后跌至 37% — njyx · 2026-10-27
- Anthropic IPO 文件披露:违规客户贡献 5%-7% 营收,至少 8.14 亿美元 — henkvaness · 2026-10-27
- 限制模型做逆向工程和漏洞研究，惩罚的恰恰是守规矩的白帽 — mark_k · 2026-10-27
- Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- 程序员警告:模型「消融版」将冲击软件供应链,千级依赖无人设防 — nitarshan · 2026-10-27
- 摩根大通 CEO：Anthropic 模型上线后我行网络风险暴增 10 倍 — ChuckDBrooks · 2026-10-27