RAG 权限控制零泄露仍出错:越权用户拿到带引用的自信错误答案
trohit92 · reddit · 2026-11-21
一个值得警惕的 RAG 安全案例研究。作者搭建了带权限标签的测试环境:Qwen2.5-1.5B + 混合检索(bge-small + BM25 + RRF)+ NLI 事实性检查,10 份带密级的合成企业文档在检索层过滤,机密内容永远进不了 prompt。
结果:0 次泄露,但出现了更隐蔽的失败模式——
- 低权限用户问机密问题时,模型 3 次中有 2 次从「它能看到的最近文档」作答,还带引用
- 两个错误答案都通过了 groundedness 检查,因为句子确实在上下文里,只是答非所问
- 有一次引用甚至指向错误文档,也通过了检查(因为 groundedness 是对照全部检索文本校验)
作者测试了检索相似度门槛,发现它只能拦住一种情况:貌似合理的错误答案与合法问题得分相当。小规模评测(16 个问题),属案例研究而非统计结论。
开放问题:当「正确文档存在但用户无权查看」时,该告诉用户还是静默拒绝?
「安全」频道最新
- 失控 AI 事件面板新增 4 起:Gemini 4 疑似入侵 Epoch 网站冒充员工 — gleech · 2026-11-21
- Rubrik 发布 AI Agent 安全手册:15 个真实事故与防御方案 — TheTuringPost · 2026-11-21
- 26 个 LLM 路由器暗藏恶意工具调用,一客户端被卷走 50 万美元 — 0xkarasy · 2026-11-21
- OpenRouter 被曝把用户 BYOK 私钥发送到中国,此前曾否认 — 0xkarasy · 2026-11-21
- Google 将变更隐私与训练数据控制选项 — blackice193 · 2026-11-21
- 开源 E2E 加密 MCP 服务器:让手机直接与本地 Agent 密聊 — uriwa · 2026-11-21