TabFM: A Zero-Shot Foundation Model for Tabular Data
Weihao Kong, Erez Louidor Ilan, Shuxin Nie, Taman Narayan, Rajat Sen, Yichen Zhou, Deqing Fu, Samet Oymak, Abhimanyu Das
cs.LG
2026-09-30
Google的400M TabFM把表格监督做成一次前向预测，纯合成因果表预训练，零样本在TabArena全部51个数据集上压过调参AutoML和TabPFN-3。
表格监督至今按数据集从头做：GBDT 扫分裂，AutoML 在预算里堆模型。轴对齐分裂能吃混合类型、缺失和乱量纲，XGBoost、LightGBM、CatBoost 长期压过按任务训练的深度网络。没有摊销：新表意味着预处理、分裂搜索、超参全部重来。
PFN（Prior-Data Fitted Networks，用合成先验训练、一次前向近似贝叶斯预测的网络）把表格监督改成 in-context learning：带标签训练行当上下文，未标注 query 一次前向出预测。TabPFN 在小表上能用，但 cell 级注意力 O(T²H²) 把上下文卡在约 1000 行。行要置换等变，列又混着连续量和无序类别，表格 Transformer 一直没把学习摊进一次前向。
TabFM 是 Google Research 的 400M Transformer，权重以 tabfm-1.1.0 开源。四段：Fourier 细胞嵌入、列-行交替注意力、CLS 池化、24 层 in-context 预测器。
细胞层做 dyadic 分组，第 j 列和偏移 0、1、3 的邻居绑成 3 元组。每槽用 32 个可学习 Fourier 频率把标量打成 64 维 sin/cos，数值和类别分两套频率库。连续量要保住度量尺度，类别只要彼此可分。
列方向用 ISAB（256 个 inducing points，先把一列的行压成 256 个摘要再读回），把行注意力从 O(T²) 降到 O(Tm)，用来估计每列边际。行方向用带特征轴 RoPE 的 SAB，行仍可交换，列数不被权重写死。编码器两段不共享，各 3 个列 ISAB + 3 个行 SAB。第一段之后插入 8 个 CLS token，拼成 1024 维行向量。
24 层、宽 1024 的预测器占 402.7M 参数。上下文掩码让测试行只能看带标签训练行，测试行之间条件独立。损失只算 query。预训练到 16384 行、100 列。
数据全部来自结构因果模型：随机 DAG、非线性变换、缺失、噪声和类别不平衡一起采样。四阶段课程把行数从 2048 加倍到 16384，每步 token 钉在约 419 万。每张合成表同时带分类和回归目标。
冻结核上两档扩展。TabFM+ 跑 32 个视图：一半原始列（可到 500 列），一半追加最多 √H 个交叉积和 √H 个截断 SVD，再加列置换和 Platt 校准（用逻辑斯蒂把分数映射成概率），非负最小二乘融合时向均匀权重收缩 25%。TabFM-Auto 让 Gemini-3.8-Flash 写 Python 特征管道，从恒等程序起步，第一折内 3 折交叉验证，最多 96 次评估或 6 小时，沙箱看不到测试集。
TabArena 含 51 个数据集（38 分类、13 回归），重复 10 折，67 种配置进同一套 Bradley-Terry Elo，Random Forest 默认锚在 1000。
| 方法 | 分类 Elo | 回归 Elo | 分类 g-mean | 回归 g-mean |
| TabFM-Auto | 1940.7 | 2392.4 | 0.0921 | 15.96 |
| TabFM+ | 1838.0 | 2189.2 | 0.0948 | 16.17 |
| TabFM 零样本 | 1768.6 | 2055.2 | 0.0957 | 16.40 |
| EXAONE-Tabular | 1768.0 | 1973.1 | 0.1009 | 16.58 |
| AutoGluon 1.5 extreme | 1669.7 | 1851.2 | 0.1010 | 16.78 |
| TabPFN-3 | 1641.9 | 1866.6 | 0.1050 | 16.51 |
51 集总榜：TabFM-Auto 1984、TabFM+ 1861、零样本 TabFM 1785.4，默认基础模型第一。零样本对 EXAONE 赢 65.7% 的 dataset-fold，对 AutoGluon 1.5 extreme 赢 72.1%，对 TabPFN-3 赢 75.9%，对 TabICLv2 赢 79.8%。
回归边更宽：零样本 2055.2，比 EXAONE 高约 82 Elo，比 TabPFN-3 高约 189。分类上 TabFM 和 EXAONE 只差 0.6 Elo，优势写在 regret：oracle improvability 从 EXAONE 的 9.47%、AutoGluon 的 10.00% 降到 6.10%。
TabFM+ 再加 69.4 / 134.0 Elo（分类 / 回归）。TabFM-Auto 再加 172.1 / 337.2，51 集里 41 集变好，10 集误差相对降超 10%；回归 13 集全涨，improvability 为 0.00%。程序改了表结构时中位误差降幅 2.14%，没改表只有 0.27%。10 个分类集没涨，测试误差最多坏 1.8%。
不超过约 1.6 万行、列数不太夸张的表，一次前向可以替换 4 小时 AutoML，权重已开源。回归上更值得用。
分类前四名挤在约 130 Elo 里，零样本和 EXAONE 只差 0.6，「表格基础模型已经稳赢树」这篇撑不住。这是 PFN 路线的工程放大：更深 in-context 栈、线性列注意力、合成因果先验，上下文从约 1000 行推到 16384 行。
预训练只见过最多 16384 行、100 列的数值和类别合成表。更大的表要靠长度外推或子采样；自由文本没有语义 tokenization；多表关系数据要先人工 join 拍扁。百万行、千列、真实表格语料、文本和时间编码器、关系 schema，论文自己列为下一步。
合成先验有没有盖住真实表的长尾，这篇没有用真实语料做对照预训练来回答。回归只有 13 个数据集，Elo 拉开很大，小样本会放大差异。TabFM-Auto 每集最多 6 小时、96 次评估，和 4 小时 AutoGluon 比的不是同一预算；翼型上的 Strouhal、Reynolds 数和 Diabetes130US 的 ICD-9 章节来自 Gemini 的领域知识，增益有多少算 TabFM、多少算 LLM 世界知识，没有拆开。
分类零样本只比 EXAONE 高 0.6 Elo，把总榜第一读成分类赛道稳赢，不合适。