Which Metrics Save the Most Human Annotation? Prediction-Powered Evaluation and Meta-Evaluation
Mingqi Gao, Anthony Sicilia, Weiyan Shi
EMNLP 2026 (Main)
cs.CL, stat.ML
2026-08-27
在六个 WMT 集上用少量人工把自动分纠成无偏估计，区间仍窄于纯人工，GEMBA 覆盖从约三成回到九成五，PPSR 的显著比较多于 SPA。
翻译系统对比要估计真实的人工分差。人工评靠得住，样本却经常小到功效不够。自动指标和 LLM 评审便宜，却有偏，单独宣布胜负会把差距判错。
PPI（预测驱动推断）用大量便宜预测降方差，用少量真标签保证无偏。接到系统对比上之后，自动指标改行帮人少标。默认做法有三处对不上 WMT：默认给的是 Z 检验，社区更常用置换、bootstrap 和 Wilcoxon；设计默认配对，有的年份两个系统并不评同一批源句；元指标按和人工是否一致来排名，而调节系数固定时估计本来就无偏，该问能省多少标注。
配对估计在无标签句段上平均自动分差，再在有标签句段上加上人工分差减 λ 倍自动分差。只要 λ 事先固定，估计就无偏。λ 取 0 就是纯人工。按协方差调到最优时，方差不会高于纯人工；两种分差不相关，则一点都省不下来。指标再偏也不破坏无偏，两种分数不必同一量纲。最优 λ 与协方差成正比，并随 L 与 U 之比变小。L 是有人工的句段数，U 是只有自动分的句段数。λ 由有标签样本估计，不必夹进 0 和 1。区间用中心极限定理，对应配对 Z 检验。
人工分离散，有标签句段又常常只有几十，正态和插件方差都不稳。配对置换检验被扩过来：每条句段随机取号，两种分差一起翻，每次重估 λ。自动分差先减自身均值。它要求两种分差关于各自均值联合中心对称，因此不靠正态。指标有偏时，一类错误仍贴着名义水平。
源句对不上，就每个系统单独估计再相减，结果仍无偏。哪边更省，取决于人工分的协方差，以及指标跟分差、跟单边分数的相关。
节省比例记成 PPSR。无标签远多于有标签时，方差下降比例约等于该对系统上两种分差的皮尔逊相关之平方，相当于少标的人工份额。对各系统对平均，取值从 0 到 1，只用有标签样本。0.4 就是平均少标约四成。相关取平方后，负相关指标一样能省标注。
按 WMT22 英德、英俄、中英，WMT23 英中、日英，WMT24 捷克到乌克兰的顺序。前三个用 MQM，输入 1315、1315、1875，系统 14、15、14 个，指标 31、30、31 个。中间两个用直接评估，输入 1098、1120，系统 15、17 个，指标 34、35 个。最后一组用 ESA，输入 1955，系统 11 个，指标 25 个。有标签数从 20 到 200，无标签固定 800，每格 1000 次。全量人工分差当作总体效应。主指标是对应年份的 MetricX。
捷克到乌克兰、有标签 80 时，MetricX 纯自动检验在一部分真实效应上功率更低，尽管它用了全部 880 条，纯人工只用 80 条。PPI 功效贴着纯人工，并且始终更高。置换版同样高于纯人工置换，功效则低于 Z 检验。评审 GEMBA 的纯自动 95% 区间很窄，经验覆盖约 30%。放进 PPI 后覆盖接近 95%，宽度仍小于纯人工。MetricX 与 BLEU 的区间也更窄，MetricX 收得更多，覆盖都贴近 95%。
有标签 20 条时 Z 检验反保守。相关 0.7、自由度 3 的重尾分布下，一类错误到 0.123，名义值 0.05。改成正态仍有 0.104，主因是插件方差不稳。置换检验贴着 0.05。Z 检验功效更高，却不适合小样本。纯人工 Z 检验最高约 0.059。
不配对的方差增幅，纯人工按上面顺序平均为 1.28、1.81、1.28、0.16、0.18、0.56，为正的比例 98% 到 100%。PPI 下为 1.11、1.67、1.02、0.11、0.12、0.33，为正的比例 92% 到 100%。能共享源句就该配对。指标跟单边人工分的相关更高，绝对值平均 0.27 到 0.43，跟分差只有 0.17 到 0.25。
PPSR 的显著两两比较为 412、373、422、507、500、247，Pearson 为 355、354、402、493、389、234，软成对准确率 SPA 为 306、314、358、440、338、225。取值的互异个数上三者都打满，秩相关平局很多。抽 100 到 1000 条重排、各 1000 次，PPSR 与全量排名最一致。它和打到 80% 功效所少标条数的相关，六个集为 0.987、0.957、0.966、0.859、0.974、0.989。散点大多不超过 0.2。
系数固定时估计无偏，偏差不会直接进系统差距。GEMBA 纯自动覆盖大约三成，说明窄区间未必盖住真值。校正后回到名义的九成五，宽度仍小于纯人工。
系统级相关先平均到十几个系统，平局多。显著比较的次数上，SPA 低于 PPSR。PPSR 读的是少标比例。区分度高，换不掉含义不同的元指标。这批指标大多省不下两成。
论文写了四条边界。人工方差没计标注者分歧。同一批标签既估系数又估区间，系数还被当成已知，经验方差会偏乐观，这篇没改。系统分默认对输入平均，换聚合方式就不适用。实验停在机器翻译，别的不可验证任务没有验证。
功效与覆盖是重抽样已有评分，不是再雇人的前瞻结果。无标签固定 800，节省比的近似要求无标签远多。联合对称没有在真实分差上检查。一类错误用的是合成分布。标签只有 20 条时，参数检验超过名义水平一倍多。