TabPFN-3.5: Technical Report
Benjamin Jäger, Nick Erickson, Léo Grinsztajn, Felix Birkel, Klemens Flöge, Oscar Key, Kürşat Kaya, Jonas Kübler, Adèle Frankel, Tobias Schröder, Anurag Garg, Jan Hendrik Metzen, David Salinas, Simon Bing, Kristina Collins, Tuana Çelik, Vahid Balazadeh, Lydia Sidhoum, Tomás Pereda, Brendan Roof, Andrej Tschalzev, Siyuan Guo, Philipp Singer, Lennart Purucker, Jake Robertson, Marie Salmon, Philipp Jund, Jerry Chen, Diana Kriuchkova, Arthur Cahu, Eliott Kalfon, Adrian Hayler, Georg Grab, Vitor Monteiro, Lilly Wehrhahn, Dominik Safaric, Clara Cornu, Alan Arazi, Rylee Grace, Simone Alessi, Mihir Manium, Bernhard Schölkopf, Yann LeCun, Madelon Hulsebos, Sauraj Gambhir, Noah Hollmann, Frank Hutter
cs.LG, stat.ML
2026-09-16
TabPFN-3.5 在 7 个基准上全部拿下第一,用十分之一算力时间赢 TabFM 84 个 Elo 点,权重开源但仅限非商用。
表格基础模型已经在干净的独立同分布(i.i.d.)基准上碾压梯度提升树,但真实业务数据往往不是这样:训练集和测试集来自不同国家、不同医院(分组偏移),或者测试数据发生在训练数据之后(时序偏移);表里还常有高基数类别列、大量文本字段、成百上千个特征。此前最强的表格基础模型在这些"脏"场景里,仍然打不过调好参的传统模型。TabPFN-3.5 想把表格基础模型的领先优势,从干净基准搬到这些实际会遇到的场景里。
架构大体沿用 TabPFN-3,但改了三处关键设计:
合成数据先验也针对性调整,生成更多高基数类别、宽表、分组场景的训练数据。
论文汇总了 7 个基准上的排名,TabPFN-3.5(或其变体 TabPFN-3.5-Thinking / TabPFN-Rel)全部拿到第一:
| 基准 | 覆盖场景 | 对最强其他 TFM 的胜率 | 对最强非 TFM 的胜率 |
| TabArena | 标准表格预测 | 57% | 96% |
| BeyondArena | 分组/时序偏移、多模态 | 83% | 79% |
| STRABLE | 含字符串字段的表 | 98% | 98% |
| RelArena-α | 关系型数据库 | 57% | 71% |
在 TabArena 上,TabPFN-3.5 用十分之一的总耗时赢 TabFM 84 个 Elo 点,用五分之一耗时赢 AutoGluon 1.6 极致版 130 个 Elo 点。加速版 TabPFN-3.5-Fast 比 TabPFN-3 快 3 倍,Elo 仍高出约 150 分;付费版 TabPFN-3.5-Thinking 比上一代 Thinking 模式快 12 倍。
对处理带文本字段、高基数类别、分组或时序偏移这类不规整表格的团队,TabPFN-3.5 是第一个把表格基础模型的优势真正搬到这些场景里的选择,不用再退回手工特征工程。但要留意授权:开源发布的权重只允许评估和非商业用途,真正上生产环境需要另外购买企业授权,Plus 和 Thinking 两个更强的变体只通过付费 API 提供,具体实现细节也没有公开。
论文没有单列局限章节,但从结果本身能看出边界:在分组和时序偏移、以及规模很大的数据集上,调好参并集成的 MLP 仍然领先,TabPFN-3.5 只是显著缩小了差距而非反超;Plus 和 Thinking 变体的推理优化是专有技术,论文明确表示有意不公开实现细节,这意味着外部无法复现或审计其真实表现。