Google 论文:仅 5 篇复读查询的文档即可重创 RAG 检索
rohanpaul_ai · x · 2026-11-06
Google 发表 RAG 语料投毒压力测试论文(作者含 Janet Sung、Kainan Zhou 等),核心发现是投毒的关键在复述用户查询,附加攻击载荷几乎不影响文档是否被检索到。
实验设置:623 条 BEIR 查询(SciFact、NFCorpus),每个查询加入最多 5 篇复读查询文本的文档(含/不含攻击载荷),覆盖经典关键词检索、语义检索与稠密嵌入模型 BGE-small。
关键数据:
- 仅 5 篇文档(约占语料 0.1%)使经典检索器 nDCG@10 下降 40.2%–61.5%
- BGE-small 上查询锚定仍是主导因素:P=5 时目标暴露率 100%,而加攻击载荷仅使 SciFact nDCG 从 0.269 变到 0.271
- 查询长度影响部分信息攻击效果:162 条长查询中两个随机词即可覆盖 19.9% 的合格词并保留 39.5% 暴露率
- 拒绝复读文档的过滤器能挡住攻击,但在 NFCorpus 上把干净排序质量从 0.267 砍半到 0.134
建议:若 RAG 索引接受外部内容,应标记镜像用户查询的文档,并同时衡量过滤器对干净查询的代价。
所属事件:Google 论文:少数复读查询的投毒文档即可重创 RAG(2 条相关)→
「安全」频道最新
- Jeff Ladish 播客谈 AI 自我复制与自动化 AI 研发的风险 — JeffLadish · 2026-11-06
- 未发布模型能力评估外泄度引讨论:15 次核心员工访谈成外部评估关键 — dfrsrchtwts · 2026-11-06
- CNAS 报告警告「主权智能体」正学会自行求生成为安全威胁 — paul_scharre · 2026-11-06
- David Krueger 质疑 AI control 叙事:故意 scheming 只是 X-risk 的小切片 — JacquesThibs · 2026-11-06
- 德州当选州长承诺已批数据中心可完工,新项目将须缴税并保障民生 — GavinSBaker · 2026-11-06
- OpenAI 发布网络安全专用模型,防御能力是否足够引质疑 — TechCrunch AI · 2026-11-06