用小模型代理调参，省下万亿级 MoE 训练算力
burny_tech · x · 2026-08-25
针对万亿级 MoE 模型训练中学习率调优成本极高的问题，这篇论文提出了一种计算高效的两步超参数迁移框架。
- 核心方法：首先利用 Maximal Update Parameterization (μP) 将小模型的最佳学习率迁移至不同宽度的模型；随后建立简单的缩放定律，将学习率从短时训练外推至万亿 token 训练时长。
- 效果验证：该方法在 155B 参数 MoE 模型的预训练中表现稳定，仅需通过小规模代理模型的运行即可精准预测大规模模型的最优配置（R²=0.95），大幅消除了全量网格搜索的成本。
- 实际应用：作者利用此策略从零预训练了基础模型（总参数 155B，激活参数 17B），验证了其在极低消融成本下的预测能力。
所属事件:新框架用小模型迁移调参，大幅节省万亿 MoE 训练算力(2 条相关)→
「研究」频道最新
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- 研究：一个 just 之差就能改变 LLM 对话的走向 — StellaLisy · 2026-10-16
- SEAR 首次大规模对照研究：7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- Claude 助力连破椭圆曲线纪录后，EC Rank 挑战赛开放 156 个纪录位 — Jsevillamol · 2026-10-16
- 用超声替代胎儿 MRI，牛津团队做产前大脑 AI 建模 — AnnaCiaunica · 2026-10-16
- 开源项目 vegaml 一周补齐全家桶：级联推理、校准与 MCP 服务器 — kalyan_kpl · 2026-10-16