表格模型三任务同考:OTBench 实测多目标训练收益并不叠加

One Table, Many Queries: Benchmarking Generalist Tabular Models Across Generation, Imputation, and Prediction

Yuanrui Wang, Kaifang Li, Xuanyue Li, Ziyun Li, Yan Lu, Xingxuan Zhang, Peng Cui

cs.LG

2026-11-09

OTBench 用 56 个数据集统一评测表格生成、插补、预测:多任务目标收益不叠加,自目标训练收益最大,冻结基础模型在预测和数值插补上已能打。

这篇在解决什么

同一张表格,通常被三拨人用三种方式消费:做生成的造整行合成数据,做插补的补缺失值,做预测的盯住一个标签。三个任务各有各的 benchmark 和建模传统,但统计上它们查的是同一个联合分布:生成查联合分布本身,插补和预测查不同的条件分布。能力能不能共享、训练目标能不能互相帮忙,分开评测给不出答案。

这个问题现在很实际。表格基础模型(tabular foundation model,大规模表格预训练、推理时不做单数据集微调)开始涌现,TabPFN、TabICL、LimiX 等已经同时开放其中多种查询接口。一个模型到底能不能把三件事都做好,需要放在同一套数据切分、同一套评测合同下量一次。StableAI 与清华团队做了这件事,产出 OTBench:56 个数据集、46 个注册方法、20 个能力轴。

方法

OTBench 先把三个任务统一成一种「查询」:给定观测变量集合 O、被查询变量集合 Q 和协议 C,模型都在逼近条件分布 P(ZQ | ZO)。生成是 O 为空的特例,插补查特征条件,预测查目标条件。所有任务共享每份数据的 80/20 训练测试切分,合同明确写出每个任务能看到什么。

数据集构造刻意与方法表现隔离:从 24 项研究引用的 492 个 OpenML 数据集出发,规模硬过滤剩 377 个,用 113 个与被测方法无关的元特征(清洗到 72 维,PCA 压到 41 维)做 k-means 聚成 50 簇,每簇取离质心最近的非重复候选,同源版本抑制掉 31 个,再加 6 个结构因果模型数据集,共 56 个。选数据全程不用任何被测方法的结果。

指标先做冗余审计,归并成 20 个语义能力轴(保真度、C2ST、α-precision、TSTR gap、隐私诊断等),轴与轴不合成分总分。三层分析往上叠:

结果

秩对齐:插补与预测在数值恢复、依赖保持、下游效用上秩一致;生成的保真度和 C2ST 与分类预测全部四个轴呈方向稳定的负相关,TSTR gap 和全局效用则与全部预测轴正相关。做得「像」和做得「有用」是两种能力。

SAE:把任务自己的目标加进训练是全实验最强的单次干预,19 个展示轴全部为正,增益范围生成 0.122–0.445、插补 0.159–0.317、预测 0.098–0.456。辅助目标里生成目标覆盖最广,对插补全部 6 轴、预测 7 轴中的 5 轴为正;预测目标能抬升合成数据效用(P→G 的 TSTR gap +0.092,5 个骨干 4 个为正,但合并区间 [−0.041, 0.225] 跨零)。

CAE:收益不叠加。预测在场时 G×I 的加入在全部 12 个轴(6 生成 + 6 插补)呈次可加,7 个过完整稳健性标准。

固定模型按能力轴分家:

任务能力轴领先方法
生成保真度/C2ST/α-precisionGaussian Copula
生成TSTR gap/全局效用TabPFN-3
插补数值点精度TabPFN-3
插补数值分布/依赖/效用TabICLv2
插补类别两轴TabSyn
预测全部展示轴LimiX-2

通才对专家组合的答案分场景。效用画像下 TabICLv2 超出其组合 0.157 个 worst-task 百分位(95% CI [0.078, 0.229]),TabPFN-3 超出 0.142([0.051, 0.227]);保真画像下专家全胜,类别保真组合领先所有通才 0.261–0.396。目标组合的帕累托前沿含 {G, GI, GP, IP, GIP},三目标全开的 GIP 有 94% 的 bootstrap 前沿占比,是有竞争力的折中。

为什么重要

对做合成数据或补数的从业者,选型依据现在很具体:合成数据拿去训练下游预测器,通才基础模型已经能打甚至更优;要分布保真度,还得用专家模型。对训统一模型的人,顺序也清楚:先把目标任务自己的目标函数加进去,这一步盖过任何辅助目标;生成目标是最百搭的辅助项;但别指望目标收益线性叠加,怎么组合取决于骨干。

对表格基础模型方向,剩余差距被定位到两处:类别列的重建,和忠实的联合采样。预测与数值点插补,冻结模型已经做得不错。

局限与存疑

作者自述的局限:因果迁移实验只覆盖 5 个数据集(回归仅 1 个)、5 个骨干,辅助效应跨骨干异质,属探索性;类别保真画像的共同队列只有 3 个数据集;秩对齐研究用目标可见的插补、迁移研究把目标藏起来,两种合同不能直接互推;冻结基础模型的评测只反映推理系统的能力,没有拆开预训练本身的贡献;SAE 和 CAE 量的是秩变化,不指向机制。

读榜单时还该知道一层关系:预测全轴第一的 LimiX-2 出自 StableAI,与基准同一团队,通讯作者重叠。数字公开可复算,但语境该有。P→G 效应的区间宽度也说明,「预测帮助生成」还不是定论。

术语

原文与代码

相关论文

全部论文解读