Magnitude Mirage:相似度分数当置信度,推理型查询下近乎随机
_reachsumit · x · 2026-09-15
论文揭示生产 RAG 系统的常见隐患：用原始相似度分数阈值决定是否放弃检索，在需要推理的查询上系统性失效——跨 11 种检索架构、28 个数据集，神经检索器会给语义相关但违反约束的文档打高分，逻辑与时序推理任务上的弃答表现接近随机，作者称之为「Magnitude Mirage」。
- 对 6 种零成本 QPP 指标按语义匹配（BEIR）、逻辑推理（BRIGHT）、时序推理（TEMPO）三层展开大规模实证。
- 核心结论：改用分数分布信号（如 Score Gap、LSMV）远胜绝对分数，弃答 AUROC 最高提升 0.16，分布类方法之间的差异仅为其 1/5-1/10。
- 方法无需额外推理、重训练或延迟。
「研究」频道最新
- DeepMind 团队冲击第六个 Busy Beaver 数，探索 AI 发现隐蔽数学问题 — RaiaHadsell · 2026-10-23
- 把可验证代码从 1% 缩到全集：形式验证的现实困境 — jd_pressman · 2026-10-23
- 新论文：AI 审稿在最佳状态下胜过人类同行评审 — RexDouglass · 2026-10-23
- 用 Claude 证明内存安全等价,一次性挖出大量 PHP 深层 bug — jd_pressman · 2026-10-23
- TUM 等提出 Bridged Self-Distillation：跨家族、黑箱教师也能做 On-Policy 蒸馏 — TUM · 2026-10-23
- UC 新研究：把工具输出存文件再检索，反而让 GPT Agent 准确率下降 — ucriverside · 2026-10-23