TabFM-Auto: Self-Evolving Pipelines for Tabular Foundation Models
Deqing Fu, Huangyuan Su, Rajat Sen, Taman Narayan, Sujay Sanghavi, Abhimanyu Das, Weihao Kong
cs.LG
2026-09-30
Google 用 LLM agent 围着冻结的 4 亿参 TabFM 迭代改清洗、特征与上下文。五个配置包揽 TabArena 51 表前五,最好把 Elo 从 1785 拉到 2013,管线可迁移。
表格基础模型(tabular foundation model, TFM)在合成表上预训练 Transformer,新表上一次前向做 in-context 预测,不更新权重。TabPFN、TabICL、TabFM 已能打平甚至超过调参后的梯度提升树。但注意力层只看见浮点大小和类别编号:systolicbp 和匿名列 X17 对它没区别,0 是缺失还是真实读数它也读不出来。TabFM+ 加了成对交叉、SVD 投影和多视图集成,仍是通用操作,不读列名、任务说明和辅助文件。
机器学习工程(MLE) agent 走另一条路,让 LLM 改完整训练脚本,特征、架构、超参加在一起搜。搜索空间大,训练方差会盖住小的特征收益,验证过拟合很常见。LLM 懂列名,直接当表格预测器又被上下文长度和数字分词拖住。两边各缺一块。
TabFM-Auto 把预测器钉死,只让 agent 改数据管线。底座是冻结的 4 亿参 TabFM,来自 Google Research。候选是四个 Python 函数加构造参数 TABFMKWARGS:
TABFMKWARGS 暴露 TabFM+ 已有的归一化、交叉、SVD、非负最小二乘视图加权。能调参数就调,写不进旋钮的领域公式才落进四个函数,所以同一套管线可以换到底座上。
搜索从恒等管线 P0 起步,只在 fold 0 训练集上做 3 折交叉验证,最多 96 次评估或单卡 H100 跑 6 小时。评测在无网络 sandbox 里跑,官方测试折搜完才碰一次。五个配置交叉 Claude Code、Codex、Antigravity 与 Claude Opus 5、Gemini 3.8 Flash。
每次评估是一次前向,没有重训练噪声,小的特征改动能被验证分看见。
TabArena 51 个数据集(38 分类、13 回归)上,五个配置包揽总榜前五。Codex + Opus 5 把 TabFM 从 1785.3 拉到 2013.0 Elo,相对 4 小时 AutoGluon 1.5 (extreme) 的 1668.4,五个配置高出 272 到 345。
| 设置 | 指标 | TabFM-Auto | 对照 |
| 总榜 51 表 | Elo | 2013.0 (Codex, Opus 5) | TabFM 1785.3; TabFM+ 1856.0 |
| 38 分类 | Elo | 1966.3 (Codex, Opus 5) | TabFM 1768.7 |
| 13 回归 | Elo | 2512.9(可改进空间 0.00%) | TabFM 2045.9 |
| 零再搜迁移 | Elo 增益 | TabICLv2 +143.3 | TabPFN-3 +130.8; EXAONE-Tabular +88.7 |
回归 13 张表全部超过 TabFM。论文的解释是,物理比例写成列、偏斜目标被压平后,TabFM 能平滑插值连续函数,树模型只能粗切分。分类侧 Elo 最高的是 Codex + Opus 5;G-Mean 最低的是 Antigravity + Gemini 3.8 Flash(0.0902,16.11 次数据集第一)。
同一 harness、同样 6 小时,把预测器放开、允许训练任意 GBDT 和网络:无约束 agent 只有 1468.8 Elo,略低于 AutoGluon 1.3 的 1490.3,比钉死 TabFM 再搜管线的 1979.6 低 510.8。TabFM 先验贡献 +316.5,管线搜索再贡献 +194.3。
102 次运行里 97 次会改特征表。17 张列名能对上物理、临床或经济量的表,测试误差降 7.3%-8.2%,匿名表只有 2.3%-3.0%。airfoilselfnoise 上 agent 从列名写出 Strouhal 数,RMSE 从 1.073 降到 0.888;Amazonemployeeaccess 上 53 个无标签图特征把 1-AUROC 从 0.1416 降到 0.1063。从 P0 到搜完,全折测试误差降 4.0%-4.7%,前 2.5% 预算(约 3 次评估)已超过 TabFM+。
MLE-Bench 8 个表格竞赛、24 小时预算:Claude Code + Opus 5 以 1827 Elo 排第一,4 枚 Kaggle 奖牌,对 12 个外部 agent 胜率 86.7%;Antigravity + Gemini 3.8 Flash 1734 Elo 排第二。辅助文件(地震波形、卫星遥测、分子坐标)会被收成表特征再交给 TabFM。
表格场景里,这条路省掉了「一边改特征一边重训模型」的搜索噪声。列名有意义时收益最大,搜好的管线还能套到 TabPFN-3、TabICLv2、EXAONE-Tabular 上,一次搜索服务一类 in-context 模型。
它是数据侧的渐进改进,底座仍是现成 TabFM。匿名表收益薄。6 小时单卡再加十亿级 prompt token,不是随手能跑的 AutoML。
论文自己写了:匿名表只能做统计和关系特征,增益更小;每个数据集都要反复验证,搜索贵。Codex + Opus 5 在 51 张表上累计 1.95B prompt token,Codex + Gemini 3.8 Flash 到 12.13B。恒等管线 P0 在超过 500 列的三张表上会直接失败,宽表要先靠 agent 砍列。
管线只在 fold 0 训练集上搜,再冻住打全部官方折。测试隔离严,「一折搜、多折测」仍可能偏向 fold 0。回归 Elo 跳到 2512.9、可改进空间 0.00%,只有 13 张表,总榜 Elo 的 95% bootstrap 区间已到 ±100 量级。无约束对照只用了 Gemini 3.8 Flash,「钉死 TFM 更好」目前只在这一对 harness 上成立。MLE-Bench 单题并不都第一,总 Elo 靠聚合,外部提交的算力和模型代际也不对齐。