斯坦福发布 86M 关系型基础模型 RT-J 与 639 库语料 THE JOIN

christopher · x · 2026-10-18

Jure Leskovec 团队（斯坦福 + SAP）发布 RT-J，一个 86M 参数的关系型基础模型（RFM），以及配套的大规模语料 THE JOIN：639 个网络爬取的关系数据库、6023 个 LLM 生成的预测任务。模型与数据已在 Hugging Face 开源。

论文同时挂在 arXiv（2610.17867，已被 NeurIPS 2026 接收）：RT-J 用最长 8192 个数据库单元格的长上下文预训练，配合轻量随机游走检索器选取上下文示例，并通过上下文微调与集成扩展测试时算力。在 RelBench 上下文回归任务上，RT-J 平均只需 10 倍更少的示例即可匹敌强特征工程管线（LLM-agent / RDBLearn 特征器 + TabICLv2 / LightGBM 预测器），主打上下文高效的表格/关系数据预测。