新基准 CoverageBench-Negate：密集检索器面对矛盾证据近乎失效
_reachsumit · x · 2026-10-29
Coverage Under Contradiction: A Benchmark for Negation-Aware Retrieval（arXiv:2610.37162）
- 研究问题：当语料证据与检索器的参数化知识（预训练先验）相矛盾时，检索器还能否找到正确证据？现有覆盖度基准多用模型可能已「背过」的事实性陈述，无法检验这一点。
- 构建方法：为 CoverageBench 中的每个 nugget 生成否定版本，并改写其支撑文档使文档支持该否定表述、同时保留上下文，形成受控矛盾。
- 产出规模：CoverageBench-Negate 覆盖 6 个数据集、约 63,000 组「原文-改写」证据对，附带完整构建元数据、LLM 判定结果与人工抽检。
- 关键基线结果：BM25 能较好区分原始与改写的「近孪生」证据，而密集检索器（Qwen3、Jina）表现接近随机水平。
- 基准连同构建用的 prompt 一并在 Hugging Face Datasets 开源。
「研究」频道最新
- 结合蛋白设计只解释约 3% 临床失败，AlphaFold 类模型被高估？ — clarejtbirch · 2026-10-29
- Byte H-Net 代码任务显示 2.24 倍计算效率，OpenAI 研究员提醒规模 caveat — willdepue · 2026-10-29
- 467页图解《心理学与神经科学原理》上线,可配 AI 导师阅读 — burkov · 2026-10-29
- 新工作论文：AI 可依据预注册文件预测经济学处理效应 — birchlse · 2026-10-29
- kalomaze：固定尺寸 UTF-8 线性投影基线够用，BPE 只是惯性特权 — kalomaze · 2026-10-29
- ProgramLab 发布：1261 个真实程序作智能体训练场，可单练也可组队 — jyangballin · 2026-10-29