NeurIPS 基准:45 个数据集上树模型仍胜深度学习,XGBoost 领先
tak3sh8 · x · 2026-10-27
arXiv 论文《Why do tree-based models still outperform deep learning on tabular data?》(Grinsztajn、Oyallon、Varoquaux)系统回答了为什么表格数据上树模型依然是王者:
- 在 45 个覆盖不同领域的标准数据集上大规模基准测试,涵盖传统与新型深度学习方法和 XGBoost、随机森林等树模型。
- 结果:XGBoost 和随机森林在中等规模数据(约 1 万样本)上仍是 SOTA,且这还没算上它们更快的速度。
- 归因分析:树模型对无信息特征更鲁棒、能保留数据方向性、更擅长学习不规则函数。
- 作者提出表格专用神经网络应满足的三点挑战,并开源了 2 万计算小时的超参搜索基准数据以推动该方向研究。
「研究」频道最新
- AI 研究者热议:模型互动式持续学习将是未来十年的课题 — arthurcolle · 2026-10-27
- OpenAI 宣称模型反驳指数时间假设,原提出者正参与核查 — ZeroCool86 · 2026-10-27
- AI 设计药物在人体见效，抗衰老正变成『可修复问题清单』 — rand_longevity · 2026-10-27
- 复杂度理论新猜想：算法提速的代价是变丑 — Elijah_Meeks · 2026-10-27
- UMAP 为何把模型可视化拉成一条弧:一个巨型坐标主导一切 — leland_mcinnes · 2026-10-27
- Kevin Bryan 演示「人机共创」设计工具并谈 AI for Science 训练逻辑 — Afinetheorem · 2026-10-27