上线后如何检测新型 Prompt Injection？语义搜索与行为分析实战

CommercialTerm9943 · reddit · 2026-08-19

作者探讨了在模型上线后如何检测新型 Prompt Injection 攻击。方法包括利用 Trace-level safety scores 发现异常检索、推理和工具调用；使用语义搜索检测已知变体；通过主题聚类发现新探测模式。文章指出，单纯的分数采样可能漏掉严重问题，建议将可疑链路提升至对抗性回归数据集，并强调攻击分类应包含行为（如泄露密钥、扩大工具范围）而非仅关注载荷文本。