语义缓存验证器红队测试:84% 对抗样本被放行,混入对抗数据降至 54%

Reasonable_Royal_621 · reddit · 2026-09-04

作者从一次真实事故出发——语义缓存把「暂停订阅」的答案错给了想「取消订阅」的用户（相似度 0.87）——构建了 CacheVerifier，在向量语义缓存前加一层验证器模型拦截错误缓存命中。

红队方法

用 DeepSeek 生成针对五个失败轴的对抗查询对：否定、动作词替换、方向反转、实体替换（老布什/小布什类）、数量替换；只保留过 0.80 相似度阈值的对，400 对中 306 对入选。
方法教训：单轮测试噪音极大，同一验证器两次运行假通过率在 58%–85% 间波动，需 4 轮独立实验加 bootstrap 置信区间。

关键发现

现成 cross-encoder 验证器放行 84% 的对抗对（CI 80–88%），否定与数量替换盲区高达 96%；甚至以 11.32 的高分（阈值 0）确信地放行意思完全相反的答案——因其训练目标（MS MARCO 排序）从未优化极性。
领域微调在此对抗集上仅从 84% 降到 88%，置信区间几乎完全重叠：微调学到的是自然数据的噪声形状，不等于对故意构造的困难对的鲁棒性——两者是不同能力。
有效解法：另生成 223 个不重叠对抗三元组、转成 446 条训练行，以 3.8% 比例混入 11,271 条自然灰区数据重新微调，对抗假通过率降至 54%（CI 48–59%），自然数据 AUC 保持 0.875 不变。

「Infra」频道最新