签名可被劫持:研究揭示离线 RAG 向量与文本不匹配的完整性缺口
securagenai · hf · 2026-11-07
Hugging Face 上一项研究指出,离线检索增强生成(RAG)中带有签名的检索包可能包含与文本不匹配的 embedding 向量,而现有的向量验证与压缩索引审计手段会让大量查询暴露在"向量劫持"风险下。
论文提出结合代码级验证与校准的歧义处理机制,可接受诚实向量、拦截被篡改向量。配图展示了在 BGE-M3 与 all-MiniLM-L6-v2 两个模型上,随容忍偏差(角度)增大,各数据集(SQuAD、SciFact、NFCorpus、FiQA、ArguAna)被劫持查询比例的累积曲线:在常见 FP32 精度噪声与 INT8 阈值之间,劫持比例可从接近 0 快速升至 1,说明宽容阈值稍设宽即几乎全线失守。
「安全」频道最新
- METR 报告:Anthropic 研发进度一年翻倍,「剧变加速」阈值或已越过 — RyanGreenblatt · 2026-11-07
- Google 团队证实 AI 挖洞工具 Hacktron 已提交高危漏洞 — ithilgore · 2026-11-07
- AI 治理本质是管道工程:基础没打好后 20% 必然崩 — vasuman · 2026-11-07
- Sandberg 细拆1940年论文:断言人类无法驾驭原子能的论证漏洞 — anderssandberg · 2026-11-07
- AI safety 研究者表态不退场,呼吁 OpenAI 与 Anthropic 停止 RSI — trevposts · 2026-11-07
- 学者提出「AI间道德」研究议程:研究 AI 如何对待彼此 — dioscuri · 2026-11-07