ShellElastic 一次训练产出多尺寸子网,超参可从小模型直接迁移
Can Jin · hf · 2026-10-14
为避免为每个推理预算单独训练模型造成的重复预训练,ShellElastic 提出弹性预训练新方案:把隐藏维度组织成一个 dense core 加多层 shells,使每个隐藏矩阵呈块下三角结构,一次全宽前向就包含所有子网络的精确隐状态前缀,计算图固定,每步成本约等于训练最宽子网络。
还提出 μE,把 maximal update parameterization (μP) 扩展到弹性架构:其缩放规则可证明让超网中所有子网同时保持最大更新(μI),超网加宽或加 shell 后依然成立;在小代理模型上调好的超参对弹性家族和更大超网接近最优(μT)。单次 ShellElastic 训练产出的子网在同等参数量下超过 MatFormer 与全弹性基线,逼近分别训练、总步数多几倍的模型。
「Infra」频道最新
- 本地跑编码智能体：内存成本已超过 token 成本 — RishabJainK · 2026-10-14
- 时隔 14 年更新的 CUDA 刚体管线跑出 204.8 万张骨牌 — erwincoumans · 2026-10-14
- RL 训练占比飙至 55%:SemiAnalysis 图表误读正在刷屏 — repligate · 2026-10-14
- 百个工程师配 AI 即达万人协作:monorepo 需要新 Git 原语 — rickasaurus · 2026-10-14
- Modal 证明 RL 训练可用混合加速器集群，成本更低且收敛不输同构 — charles_irl · 2026-10-14
- 后院「分布式数据中心」小屋：为本地 LLM 打造的 ADU 创业 — dee_hw · 2026-10-14