"PRISM" Is Not All You Need: Cross-Topic Name Collisions and Scientific Paper Retrieval
Jingjie Ning, Xueqi Li, Yibo Kong
cs.IR, cs.DL
2026-11-01
CMU 统计 56 万篇 arXiv 论文:方法名跨领域撞名率达基准 4.33 倍,重名论文 BM25 检索比独一名低 25.7 个点,并放出评测集。
给 AI 方法起名正在变成一场没有协调的抢注。同一个 PRISM,在 arXiv 上分别指空间世界模型、病理编码器和模型安全方法。CMU 三人组统计 2020 至 2026 年 564,861 篇 AI 类 arXiv 论文,把「不同论文共用同一个标题冒号前名称」定义为撞名:跨领域撞名率已达 2020–2022 合并基准的 4.33 倍,领域内部只有 1.12 倍。涨的是名字的跨领域复用,不是论文总量。
这笔账落在检索上。固定语料里 28,152 篇论文,占带名记录的 19.5%,至少有一个同名者,受影响论文平均面对 8.33 个同名对手。靠一个短名字定位论文,越来越不可靠。
名称取标题冒号前的紧凑词,大小写折叠后比较,后缀保留在键里,所以 SageAttention 1/2/3 算三个不同标签。撞名率是随机两篇带名论文同名的概率,按每 10 万对报告;再用句子嵌入把摘要聚成 200 个主题簇,聚类前先把标题里的名字遮掉,撞名对随之拆成跨主题、同主题两条轨迹。
稳健性叠了几层:按名称组自助重采样 2,000 次给区间;换编码器 MPNet 重算,跨主题增长 4.38 倍;排除同名同作者的对,增长仍有 4.40 倍;去掉六个格式词和最高频 20 个名字,仍剩 1.91 倍。增长在所有切法下都成立。
词频侧用 wordfreq 把每个名字钉进固定 Zipf 频段。每百万 token 出现 1 到 100 次的中频词只占 2026 年带名论文的 12.4%,却贡献 89.4% 的跨主题撞名对、98.0% 的净增长。大家都在同一个「眼熟但不含行话」的词库里挑名字。
检索评测把 1,400 个重名目标与 1,400 个按年份、类别、标题长度配对的独一名目标对比,查询是名字加三个自动摘自目标摘要的词,全语料用同一条词频乘 IDF 规则。检索分两档:14.5 万标题的全库检索,和把候选固定为同名组的组内排序。基线覆盖 BM25、MiniLM、E5 和 DeepSeek-Flash 的 listwise 排序。
| 设置 | 方法 | Top-1 |
| 全库,标题 | BM25:独一名 vs 重名 | 85.1% vs 59.4%,差 25.7 个点 |
| 全库,标题 | MiniLM:独一名 vs 重名 | 差 13.2 个点 |
| 全库,标题+摘要 | E5:独一名 vs 重名 | 94.8% vs 87.9%,差 6.9 个点 |
| 同名组内,仅名字 → 加三词 | BM25 | 30.8% → 70.6% |
| 同名组内,加三词 | DeepSeek-Flash listwise | 89.2%,Top-10 98.9%,MRR 0.933 |
| 同名组内,加三词 | E5(标题+摘要) | 93.6% |
三个结论直接读得出。摘要里挑的三个具体词扛住了大部分歧义:148 个 PRISM 候选里,cytoplasmic、perinuclear、lymphoblastic 把那篇细胞分割论文顶到两种打分的第一名。排序器越强残差越小,重名税一直都在。同主题撞名比跨主题更难:上下文线索能消掉 BM25 58.9% 的跨主题错误,同主题只消掉 24.4%;固定两个候选的对比里,跨主题对手 80.0% 对同主题 66.9%。两篇都做初始化的 AutoInit 论文让 BM25、MiniLM、E5 的标题排序全选错,DeepSeek 的 listwise 重排才救回来。
对做学术搜索和文献 RAG 的人,这篇把名字歧义从轶事变成可测量、可复现的基准:固定语料、冻结查询、60,200 条打分结果和全部基线输出打包发布。给系统的建议具体:短名字查询应返回候选组,用研究线索在组内排序,结果附上可验证的标识符。给作者的建议也具体:起名前查重,优先避开眼熟的常用词。这是一份测量报告加一套基准,不是新模型,渐进但扎实。