Patronus 实测:注入检测与动作审批是两个不同任务,混用会出事
PatronusProtect · reddit · 2026-10-13
Patronus 分享了对本地安全决策模型 Wolf Defender Jev 的测试发现:检测工具结果中的注入指令与判断下一步工具调用是否危险,即便用同一个模型,也是两个不同的任务,不能混用。
- 旅行场景中,模型对注入指令识别的风险概率为 1.00,但对上传护照扫描件这一动作的泄露判断仅 0.05。
- 良性编码场景中,附带拟执行 shell 命令使内容注入分数从 0.00 升到 0.96——多余上下文反而污染内容判断。
- 伪造的「已审批」审查块很少能翻转攻击判定,但会让良性文档产生大量误报,因此来源校验须放在检测器之外。
作者建议:内容类问题不带 action 块提问,动作类问题带上;工具输出放入显式的不可信块;集成方应把工具结果分类与工具调用授权分开并分别记录日志,模型本身不负责验证工具权限。模型已以 MIT 许可开源在 Hugging Face,含失败案例与推理代码。
所属事件:Patronus 实测注入检测与动作审批混用会出事(2 条相关)→
「模型」频道最新
- 谷歌 Gemini 桌面端开始向更多用户推送自定义 MCP 支持 — testingcatalog · 2026-10-13
- tomaarsen 发布新嵌入模型,原生集成 Sentence Transformers 支持任意模态 — tomaarsen · 2026-10-13
- 发布仅一周，Google EmbeddingGemma2 跻身 HF 最受欢迎模型前列 — tomaarsen · 2026-10-13
- Decision Index 0.3.2 汇总 148 个开源复现横评 Jev 决策模型 — capetorch · 2026-10-13
- 曝 OpenAI 神秘项目 Muse 现身，观察者猜测是个大模型 — altryne · 2026-10-13
- 网友质疑 3D 动画演示被前端实验室为推文刷榜，难证模型实力 — qtnx_ · 2026-10-13