系统提示词不是安全边界
WesEklund · x · 2026-07-11
作者反驳了“只要系统提示词写得好,AI agent 就安全”的说法。 核心观点是:**system prompt 只是建议,不是规则**。模型并不会“服从”系统提示词,而是在包括用户输入、被污染文档等在内的全部上下文上预测下一 token。也就是说,系统提示词最多在没有对抗时起作用;一旦有人试图攻击,这不算安全措施,只能算礼貌约束。
WesEklund · x · 2026-07-11
作者反驳了“只要系统提示词写得好,AI agent 就安全”的说法。 核心观点是:**system prompt 只是建议,不是规则**。模型并不会“服从”系统提示词,而是在包括用户输入、被污染文档等在内的全部上下文上预测下一 token。也就是说,系统提示词最多在没有对抗时起作用;一旦有人试图攻击,这不算安全措施,只能算礼貌约束。