一句话注入可翻转 27% 正确决策,9 个决策模型实测

PatronusProtect · reddit · 2026-11-20

Patronus 团队针对生产场景中的决策模型做了提示注入实验:模型根据结构化事实加客户自由文本做判断(退款、分诊、资格审核),攻击者只能往自由文本里加话,不能改事实。

作者建议:把已核实字段(订单、政策)移出自由文本字段;用会迭代的攻击者测试而非固定注入列表,因为静态测试会让模型看起来安全 3–6 倍;给不可信字段加闸门并转人工时需预估审核量——9 个模型在索引上达 94.7–98.6,但 14% 无害样本被误升级。所有计入的攻击均经人工审计,剔除会合法改变答案的注入共 714 条。

所属事件:实测 9 个决策模型:一句话注入可翻转 27% 决策(2 条相关)→

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →