IBM 开源两个抗提示注入小模型,专防文档里藏指令
MajesticPuzzler · reddit · 2026-11-14
据 r/LocalLLaMA 传播,IBM 发布了两个小型开源模型,专门训练其忽略文档中隐藏的指令,把抗提示注入能力直接做进模型本身。
对于读取网页和用户上传文档的 RAG 与 agent 应用,提示注入是最危险的一环。传统做法是在模型外防护:清洗检索文本、在 prompt 中分离数据与指令、限制 agent 可调用的工具。
楼主抛出几个讨论问题:你是依赖模型自身忽略注入文本,还是在管线里做防护?有没有人真的用投毒文档实测过自己的 RAG 应用、发现了什么问题?一个抗注入小模型作为过滤步骤,是否值得额外的延迟开销?
所属事件:IBM 开源抗提示注入小模型,注入攻击成功率降至近零(2 条相关)→
「模型」频道最新
- Ripple-65B 黑客松:模型 3 小时自建本地 IDE,代码生成超 300 tok/s — Azaliamirh · 2026-11-17
- OpenAI 启动首批嵌入式评估,下款模型发布或还需数周 — AP_in_Indy · 2026-11-17
- NVIDIA 发布 Nemotron for Science:全开源科研智能体套件 — NVIDIAAI · 2026-11-17
- 研究者:扩散图像生成难吃反馈,代码内绘图的路线更可控 — josephdviviano · 2026-11-17
- 3 年花 2514 美元后,老用户仍在等 ChatGPT 收回王座 — MoreLunch1547 · 2026-11-17
- Claude Fable 5.2 回答缩短 43%,破折号用量骤降 99% — ArtificialAnlys · 2026-11-17