EMNLP 新基准 TEMPO：16 款检索器最强仅 32 NDCG，RAG 不检索反而更高
mageed · x · 2026-10-25
因斯布鲁克大学团队在 EMNLP 2026 发布 TEMPO，一个考察「时间推理型检索」的多领域基准：真实问题常问「2017 年以来 X 如何变化」而非「X 何时发生」。
- 基准含 1,730 条来自 Stack Exchange 的人工撰写问题，覆盖 13 个领域（比特币到历史），共 3,976 条检索步骤映射到金标文档
- 评测 16 款检索器，最佳（DiveR）仅达 32.0 NDCG@10，顶级系统在约 30% 的跨时段查询上漏掉部分所需时间跨度
- 更刺眼的是：RAG 中完全不检索的回答得分 77.3，反而高于最佳检索器的 75.6（金标文档为 80.5）；时段外证据可能误导生成器，GPT-4o agentic 流水线也无明显增益
论文将于 10 月 25 日周日 11:00-12:30 在布达佩斯 EMNLP 主会口头报告（Room G7-8）。
「研究」频道最新
- Judea Pearl 490 页因果推断入门教材可免费下载并附分章目录 — yudapearl · 2026-10-25
- 新论文提出二元离散扩散:像解数独一样保留候选 token 迭代去噪 — LucaAmb · 2026-10-25
- 34 小时 ATP 视频转动作数据,作者实测称 Claude 是出色的网球教练 — FinanceYF5 · 2026-10-25
- DeepMind 5 个月实测：同一个 AI Agent 同事，有人视若救星有人压力山大 — rohanpaul_ai · 2026-10-25
- LAW：纯自条件化的语言模型，反其道而行之的扩散 LM 思路 — caglarml · 2026-10-25
- 网友给出 Qwen 激活转向配方，两个神经元就能造出「邪恶 Qwen」 — rachittshah · 2026-10-25