EMNLP 论文:技术文档漂移一年,FreshStack 检索基准依然可靠
mrdrozdov · x · 2026-10-26
一篇 EMNLP 2026 Findings 论文研究了时间漂移对检索(IR)基准的影响。团队对 FreshStack(LangChain)在 2024 年 10 月与 2025 年 10 月两个快照上做了对比:
- 文档漂移模式:相关证据主要是「迁移」而非失效——2024 年的查询中仅 1 条在 2025 语料中失去支持,部分相关文档迁移到了 LlamaIndex 等竞品仓库
- 模型排名基本稳定:两快照间仅有小幅变化,Kendall τ 相关系数在 Recall@50 下高达 0.978
结论:即使技术文档(API 弃用、代码重组)快速演变,只要相关证据是「迁移」而非「失效」,此类检索基准经重新标注后仍然可靠。代码与数据已开源(fresh-stack/driftbench)。作者包括 Nandan Thakur、Jimmy Lin 等。
「研究」频道最新
- 算力无穷能否精确模拟生物?AI 圈争论实验的必要性 — cjmaddison · 2026-10-26
- 研究:主流 LLM 集体偏爱日本,SFT 是偏见源头 — alex_verem · 2026-10-26
- Top-b 采样法:用香农熵动态调采样范围,GSM8K 方差降近 10 倍 — cneuralnetwork · 2026-10-26
- MathDB 上线:面向 AI 辅助数学研究的开放论文与评论平台 — lpachter · 2026-10-26
- EMNLP 论文:LLM 生成的 Web 应用仅 11.7% 通过行为契约基准 — algo_diver · 2026-10-26
- Claude 无人干预跑53小时,8个量子难题7个胜过人类设计 — FinanceYF5 · 2026-10-26