KAN 作者议训练曲线预测:微调 LLM 不如表格基础模型 TabPFN

ZimingLiu11 · x · 2026-10-31

KAN 论文作者刘子鸣(Ziming Liu)在长线程中点评用 LLM 预测训练曲线的做法。他指出此前张晗等人提出的 NCPL(neural configuration-to-performance scaling law)虽是巧思,但需要微调 LLM,且无法泛化到分布外场景——比如词表中没见过「MoE」架构时表现会严重失准。

他认为训练曲线预测本质上更像科学问题(如预测力与能量),而非语言预测问题,因此微调 LLM 的思路未必合理。后续发现:预训练的表格基础模型 TabPFN 无需任何额外训练就已是有相当好的 meta model,在多项指标上超过 NCPL,并能泛化到 OOD 场景。