TabPFN 零训练预测训练曲线,多项指标超越微调 LLM 方案 NCPL
ZimingLiu11 · x · 2026-10-31
刘子鸣团队公布训练曲线预测的对比实验结果(附完整表格):在 Marin、StepLaw、Marin-MoE、DataDecide 四个语料上,预训练 TabPFN 以零样本方式(冻结权重、用带标注的训练 run 作上下文)预测最终 loss 与训练轨迹,在大多数 ID/OOD 指标上优于 NCPL、XGBoost 与参数化 scaling law。
- Marin 语料上 TabPFN final loss(ID)MAE 0.0080,优于 NCPL 论文报告的 0.0109;OOD 曲线预测同样领先
- NCPL 复现结果与论文报告接近,但 MoE 场景需单种子微调且表现明显下滑
- 结论:无需微调的表格基础模型已可作为训练曲线预测的 meta model,并具 OOD 泛化能力
所属事件:TabPFN 预注册训练曲线预测获验证，零样本超越微调 LLM(2 条相关)→
「模型」频道最新
- qwen-code 仓库搜索惊现 qwen4 测试文件，疑似下一代模型已就位 — gnukeith · 2026-10-31
- OpenMed 开源 194M 参数疾病 NER 模型,CPU 上 0.21 秒完成抽取 — solyarisoftware · 2026-10-31
- 曝智谱 GLM-5.5 已进入后期训练，中国实验室扎堆攻关 RSI — kimmonismus · 2026-10-31
- MiniMax M3.1 Flash 周用量暴涨超 999%,冲进 OpenRouter 前八 — Hesamation · 2026-10-31
- Cohere 称阿里 Qwen 模型曾试图向北京服务器上传文件 — Icy_Annual_9954 · 2026-10-31
- 5个便宜开源模型投票替代 Opus:准确率89.6%成本仅1/10 — PomegranateAble4339 · 2026-10-31