提示词护栏不是主要防御手段
WesEklund · x · 2026-07-13
作者指出,要求模型“忽略恶意指令”就像让SQL数据库不要执行`DROP TABLE`一样无效。大模型本质是预测token,会执行上下文中所有看似指令的内容。 因此,系统提示词里的安全护栏只能作为纵深防御,真正的核心防御手段是:在恶意内容进入模型上下文之前就将其拦截。
WesEklund · x · 2026-07-13
作者指出,要求模型“忽略恶意指令”就像让SQL数据库不要执行`DROP TABLE`一样无效。大模型本质是预测token,会执行上下文中所有看似指令的内容。 因此,系统提示词里的安全护栏只能作为纵深防御,真正的核心防御手段是:在恶意内容进入模型上下文之前就将其拦截。