斯坦福 RT-J 论文详读：8192 单元格长上下文预训练，示例需求减少 10 倍
christopher · x · 2026-10-18
christopher 补充了 RT-J 论文的 arXiv 链接与摘要（2610.17867v3，NeurIPS 2026 接收）。作者为 Rishabh Ranjan 等 8 人，来自斯坦福与 SAP。
要点：
- 现有表格/关系数据基础模型适配新数据集需数万样本，RT-J 仅需数百个甚至更少的上下文示例即可准确预测。
- 训练语料 THE JOIN 含 639 个网络爬取数据库、6023 个 LLM 生成的预测任务。
- 预训练使用最长 8192 个数据库单元格的长上下文，用轻量随机游走检索器选取上下文示例，再用上下文微调与集成扩展测试时算力。
- 在 RelBench 上下文回归任务上，平均少 10 倍示例即可匹敌强特征工程管线（LLM-agent/RDBLearn + TabICLv2/LightGBM）。
- 结论强调真实世界语义、上下文工程与大规模预训练对 RFM 的重要性。
所属事件:斯坦福发布 86M 关系型基础模型 RT-J 与 639 库语料 THE JOIN(2 条相关)→
「研究」频道最新
- Meta×MIT×耶鲁发布ReHarness：让Agent回溯修订经验持续学习 — HanGuo97 · 2026-10-18
- 菲尔兹奖得主 Kontsevich：AI 智能体主动提出更好的数学定义 — luislamb · 2026-10-18
- MIT–OpenAI 研究：长期使用聊天机器人与幸福感下降相关 — patpat_mit · 2026-10-18
- 用 Opus 模拟 Hox 基因网络,生成了蜥蜴与蛇的骨骼图 — repligate · 2026-10-18
- OpenEnv Arena 免 GPU 做 RL 环境：每 24 小时可跑一次训练 — ben_burtenshaw · 2026-10-18
- 法国数学博士生：20 欧的 ChatGPT 就能解掉我做了两年的题 — FlorianGallwitz · 2026-10-18