KAN + TabPFN 组合提升 scaling 预测：OOD 误差最高降 80%
ZimingLiu11 · x · 2026-10-31
Ziming Liu 团队继续公开其预测管线进展：用 KAN 进一步增强 TabPFN 做 scaling 预测，并获得可解释的残差来源洞察。
- 组合方式：将 [q, log10(η/η0), log10(B/B0)] 输入冻结的 TabPFN 得到 loss 预测；KAN 学习的坐标变换（学习率、batch size 参考曲线）提升了更大规模的预测与选择。
- StepLaw 任务结果：T1 最终损失 OOD MAE 降 29%；T2 损失曲线 OOD 降 16%；T3 选择遗憾 OOD 从 0.427% 降到 0.084%（降 80%）；同分布(ID)提升不显著。
- 可解释性：KAN 的边函数揭示了残差误差来自哪些输入维度。
「研究」频道最新
- 常用激活函数暗藏 bug,均值非零致 loss spike — ZimingLiu11 · 2026-10-31
- 「生物学只是数据问题」被一个 lncRNA 打脸，ANRIL 复杂到建模崩溃 — iskander · 2026-10-31
- 预注册训练曲线预测：TabPFN 14 个后续检查点全部命中 — ZimingLiu11 · 2026-10-31
- KAN 作者议训练曲线预测:微调 LLM 不如表格基础模型 TabPFN — ZimingLiu11 · 2026-10-31
- 研究揭示混语提问降低 LLM 准确率,CANVAS 调整内部表征可挽回 — burkov · 2026-10-31
- 用煮奶茶解释 KV Cache：第 500 个 token 为何不重算前 499 个 — cneuralnetwork · 2026-10-31