2026-09-13
斯坦福把预训练模型预测接到经典替代结局框架上，提出Recalibrated PPI；酒评任务比PPI++少用约19%标注，胸片和毒性任务大约少5%。
真结局贵，替代结局便宜。生物统计和经济里这套想法用了三十多年：心肌酶代替梗死损伤，CD4 代替 HIV 进展，短期就业代替长期收入。现在贵的是人工标注，便宜的是模型预测。Prediction-powered inference（PPI）把预训练模型的输出当成这一类替代变量。
模型预测和真结局经常不在一个尺度上。胸片分类器只看图、不看年龄；毒性模型在维基百科上训、在新闻评论上用；GPT 把酒评压成五档离散分。直接拿 Ŷ 去补 Y，区间可能比只用有标签样本还宽。斯坦福 Ji、Lei、Zrnic 把 PPI 接回经典 surrogate outcome 模型，给出 Recalibrated PPI（RePPI）。
PPI 的通式：有标签样本上的经验风险，减去有标签和无标签两套「填补损失」之差。填补损失选得好，无标签预测就能当控制变量，把方差削掉；选不好，方差会胀。
RePPI 多一步 recalibration：用灵活的机器学习，在有标签数据上估计最优填补分数 E[∇ℓθ(X,Y) | X, Ŷ]，再拿这个分数去构造填补损失。三折交叉拟合，把初始估计、分数拟合、推断拆开，避免过拟合把有标签和无标签的分数分布拉开。
两个保证写得很清楚。最优填补损失估对了，渐近方差达到 PPI 族的下界。估不对，仍然比只用 XY 的估计量更有效，因为校正矩阵 M 是按样本协方差选的，保证改进。目标函数在原损失凸时保持凸。预测完美时，RePPI 等价于在 n+N 个样本上做 ERM。Ŷ 只是 X 的函数时，预测本身不再提供新信息，但用 X 做 recalibration 仍能削掉一部分方差。
三条「预测系统性偏离真结局」的设定，加上三个真实数据实验，标签比例 10% 到 30%，对照 XY-only、PPI、PPI++。
胸片（NIH ChestX-ray14，29366 例）：DenseNet-121 只吃影像，目标是胸腔积液对标准化年龄的 logistic 系数。PPI 区间明显更宽，被图里直接省略。达到宽度 0.20 时，XY-only 要 7704 个标签，PPI++ 7602，RePPI 7164，比 PPI++ 少 5.74%。
毒性（CivilComments-WILDS 抽 10000 条）：DistilBERT 在 Jigsaw 维基语料上训，目标是身份提及的回归系数。PPI 常常比 XY-only 还差。宽度 0.040 时 XY-only 2075、PPI++ 1847、RePPI 1739，少 5.85%。
酒评（美国子集 10000 条）：GPT-5.4 nano 把评论打成 1 到 5 档，目标是价格对评分的回归系数。PPI++ 只能做线性校正，RePPI 用两层网络做非线性 recalibration。宽度 0.33 时 XY-only 2744、PPI++ 2625、RePPI 2163，少 17.57%；其他宽度大约少 18% 到 21%。
附录里美国人口普查年龄对工资的回归，训练只在本科及以上，推断对全人群，RePPI 相对 PPI++ 少用超过 24% 的标签。覆盖率在这些实验里都贴着 95%。
| 任务 | 目标宽度 | PPI++ 标签数 | RePPI 标签数 | 少用 |
| 胸片年龄系数 | 0.20 | 7602 | 7164 | 5.74% |
| 新闻评论毒性 | 0.040 | 1847 | 1739 | 5.85% |
| 酒评价格系数 | 0.33 | 2625 | 2163 | 17.57% |
| 普查工资（附录） | 0.0023 | 10287 | 7594 | 26.18% |
谁在用 LLM 当标注器、再用标注做回归或均值估计，这篇把「预测能当数据」收成可证明的方差公式。关键在把预测校正到推断目标的尺度上，模型更准帮不上这个缺口。胸片那种跨模态、酒评那种离散档，线性 power tuning（PPI++）不够，要非线性 recalibration。
工程上可落地：损失凸则优化凸；交叉拟合把分数学习从推断里拆开。代码在论文给出的仓库。适用面是半监督推断，不是让模型替代临床试验终点本身。
作者自己写了三条。非结构化信息 W 只通过 Ŷ = f(X,W) 进来，embedding、logits、不确定度、多模型输出被丢掉了。理论是渐近的，有限样本表现取决于填补分数学得怎么样、标签量和替代信号强度。设定基本是有标签和无标签 i.i.d.，跨源无标签数据只在附录用密度比加权，密度比估计不准会引入一阶偏差，他们把彻底分析留给后续。
实验设计也有一层薄：全数据估计被当成 θ⋆ 的代理来评覆盖率，这在有限样本里会让覆盖看起来更漂亮。胸片和毒性上相对 PPI++ 只省大约 5%，值不值得加一套交叉拟合，要看标一次的成本。酒评和普查的增益更明显，因为离散档和分布偏移正好打在线性校正的盲区。