The h-index is no longer an effective correlate of scientific reputation
Vladlen Koltun, David Hafner
cs.DL
2021-02-05
Intel 实验室分析四个领域百万级论文后发现，h 指数与科学奖项的 Kendall τ 在物理 Scopus 上从约 0.34 降到 2019 年的 0.00。按作者均分引用的 h-frac，2019 年平均 τ 为 0.32，高于 h 的 0.16。
h 指数是 Hirsch 2005 年提出的个人影响力指标，Google Scholar、Scopus、Web of Science 都把它放在显眼位置，进人、升职、经费都会看。它把产出收成一个数，没有门槛、没有可调参，解释也简单。科学的署名习惯一直在变。这篇要问的是：到了 2010 年代后期，h 还能否对应科学共同体用奖项表达的声誉。
Intel 实验室的 Koltun 和 Hafner 在生物、计算机、经济、物理四个领域各取 1000 名高被引研究者，沿 Scopus 和 Google Scholar 两条平台往回追。Scopus 侧 130 万篇、1.02 亿次引用；Scholar 侧 260 万篇、2.21 亿次引用。奖项包括诺贝尔、突破奖、国家科学院、APS fellow、图灵奖、计量学会会士等。4000 人里 75.6% 没有任何这类奖，13.3% 有一项，5.1% 有两项，6.0% 有三项及以上。方法是看文献计量排名和奖项排名的相关，主指标 Kendall τ。
每年用 h、总引用 c、篇均引用 μ、g 指数、o 指数、高被引论文引用中位数 m，以及它们的分数化版本，去和当年的奖项排名做相关。预测力则用当年指标去相关五年后的奖项。分数化的意思是一篇文章的引用在署名作者之间均分，再用均分后的引用计数去算 h。Egghe 在理论上写过这种 h，没有大规模实证。文中还对照了 hI、hm、hp、hap 等按作者数做正规化的变体。
稳健性实验换过相关统计量、奖项加权、只保留有无奖项的二值、随机丢掉 25% 或 50% 的奖、删掉平均合作者超过 100 的超作者、只看引用后 50%、按发表高峰年切队列。四个领域、两个平台平行复现。
物理 Scopus 上，h 与奖项的 τ 在 1990 到 2010 年之间大约 0.33 到 0.36，2019 年掉到 0.00。同期高被引物理学家的篇均作者数从 1994 年的 78、2004 年的 121，升到 2019 年的 952，其中 10% 超过 2441。1980 年还有 84% 的人篇均作者少于 10；2019 年 68% 的人篇均超过 100。h 排行榜被超作者渗透。
跨领域、跨平台平均，2019 年 h-frac 的 τ 是 0.32，h 是 0.16。h-frac 从上世纪八十年代末的 0.28 升到 2019 年的 0.32；h 从 0.27 降到 0.16。五年预测力：h 从 2004 年的 0.32 降到 2014 年的 0.24；h-frac 在 1994 / 2004 / 2014 年为 0.34 / 0.36 / 0.33。所有带作者数正规化的指标都强于不带的，h-frac 在相关和预测上都排第一。
删掉超作者之后，传统指标照样下滑，分数化指标照样稳。超作者是极端症状，不是唯一原因。传统指标和分数化指标之间的相关在 2010 年后加速下降，和篇均作者数上升同步。超作者的 h 常在 2019 年超过 80，h-frac 多半低于 20。各领域 h-frac 前 100 的门槛大约是：生物 59、计算机 39、物理 37、经济 29。h-frac 最高的物理学家里仍有篇均 4.3 到 5.6 位合作者的人，分数化并没有把合作一棒打死。
谁还在用 h 做招聘和经费排序，这篇给出的是一条冷的测量学结论：至少在高被引物理圈，h 到 2019 年已经不再能对齐奖项。h-frac 几乎不改计算方式，只是把引用按作者数切开，却把相关从 0.16 拉回 0.32。对计算机领域，前 100 的 h-frac 门槛约 39，可以当一个和物理、经济不同标尺的参照，不能跨领域直接比大小。
它没有主张「合作有罪」。它主张的是：把一篇千人论文的全部引用记给每一个署名，会把指标吹胀到和声誉脱节。均分之后，中等规模、持续出活的合作仍能排到前面。
数据停在 2019 年前后，论文 2021 年挂出。这之后大语言模型和更大的合作组只可能把署名膨胀再推一截，方向多半不会反转。
声誉的代理是奖项。奖项有学科偏见、年龄偏见、机构偏见，相关下降也可能混进奖项结构自己的变化。样本是各领域 1000 名高被引，不是全体科研人员；对早期职业和低被引群体，h-frac 好不好，这篇没测。作者自己列了没做的三件事：跨领域正规化、自引处理、署名顺序。均分把第一作者和挂名作者切成同样大小，可能对年轻第一作者不公，这正是 Hirsch 自己那套递归方案想避开、又被认为对年轻人过狠的地方。
平台覆盖和奖项匹配都可能错。稳健性实验降低了「某一个奖匹配错了就翻盘」的风险，不能消除系统偏差。交互可视化在独立站点，解读不依赖它。