KAN 一作刘子鸣提出 meta model：实验前预测训练结果

MIT 博士生、KAN 论文一作刘子鸣（Ziming Liu）于 10 月 31 日在长推文线程中提出「meta model（元模型）」概念：对模型的学习过程本身建模的模型，目标是在实验真正运行之前就预测出训练结果。该内容发布于 MetaCircleAI Research Exposition 第三天，并附论文链接。

已确认

• 核心定位是「用模型来预测其他模型的表现，最终反过来设计模型」；刘子鸣强调不绑定某种特定架构，LLM、TabPFN、KAN 都可以充当 meta model，关键在于这一定位本身。
• 具体应用场景之一是预测模型的训练曲线，从而在不同条件下直接选出最优超参数（如学习率、batch size 等），免去盲目试错。
• 在实现路径上，他点评了用 LLM 预测训练曲线的做法：此前张晗等人提出的 NCPL（neural configuration-to-performance scaling law）虽是巧思，但需要进一步条件（帖文截断）；他的比较结论是，微调 LLM 不如表格基础模型 TabPFN。
• 他说明这一想法并非全新：何诗怡、Kaiyue Wen 和滕钰谋此前已有相关工作（帖文细节截断）。
• 他也直言研究日常的真相：即使顶尖研究者，在跑一个 AI 实验之前往往也几乎不知道会发生什么，通常只能把实验真跑完才知道结果。

为什么重要

• 若能在实验前较准确地预测训练曲线与最终性能，可大幅降低算力与时间成本，改变「跑完才知道」的 AI 实验范式，并使超参搜索从盲目试错变为直接挑选。
• 明确 meta model 与具体架构解耦，为后续用表格模型、KAN 等不同工具做模型性能预测与自动化模型设计留出空间。

2026-10-31 ~ 2026-10-31 · 6 条相关

• 【源头】KAN 作者刘子鸣：顶尖研究者跑实验前也难预判结果 — ZimingLiu11 · 2026-10-31
• MIT 研究者提出「元模型」:实验没跑就能预测训练结果 — ZimingLiu11 · 2026-10-31
• KAN 作者 Ziming Liu 提出「meta model」：不用跑实验就能预测训练结果 — ZimingLiu11 · 2026-10-31
• KAN 作者议训练曲线预测:微调 LLM 不如表格基础模型 TabPFN — ZimingLiu11 · 2026-10-31
• 【源头】KAN 作者提「meta model」框架：用模型预测并设计模型 — ZimingLiu11 · 2026-10-31
• 【源头】Ziming Liu 提出 meta model：预测训练曲线，免去超参盲目试错 — ZimingLiu11 · 2026-10-31