Ziming Liu 提出 meta model：预测训练曲线，免去超参盲目试错
ZimingLiu11 · x · 2026-10-31
KAN 作者 Ziming Liu（@ZimingLiu11）继续分享其「meta model」研究思路的第 9 部分：
- 核心想法是训练一个能预测模型训练曲线的模型，从而在不同条件下直接选出最优超参数（如学习率、batch size），无需无休止的试错。配图展示 StepLaw 在 537M 参数、50B tokens 设置下，TabPFN、NCPL、Power law 等方法对最优配置的预测与实测最优（Measured best）的对比，预测点已非常接近实测最优区域。
- 他强调 meta model 不绑定特定架构，可以是 LLM、TabPFN、KAN 等，本质是「一个预测其他模型性能、最终能设计模型的模型」。
- 下一步目标：从「选择超参数」走向「设计新架构」，即让 meta model 具备超越超参搜索的架构设计能力。
所属事件:KAN 一作刘子鸣提出 meta model：实验前预测训练结果(6 条相关)→
「研究」频道最新
- DeepMind 用 Gemini 智能体系统解开 11 台 BB(6) 图灵机未决规则 — rvp · 2026-10-31
- Christophe Giraud《高维统计导论》第二版可免费获取 — FrnkNlsn · 2026-10-31
- 比编译器更快：手工优化有符号 32 位整数除法实测 — lemire · 2026-10-31
- Teleport 挑战赛实测：AI 转译 NetHack 正确率 99.5% 但可读性骤降 — davidbau · 2026-10-31
- AIGENIE 开源 R 包用 LLM 自动生成并验证心理量表题目 — GolinoHudson · 2026-10-31
- LLM-as-a-judge 位置偏差实锤:研究者提醒评测判官模型须全随机 — antoine_chaffin · 2026-10-31