作者详解「混合宽度」嵌套子模型设计：自由度更多但选配置更难

nthngdy · x · 2026-08-20

研究者在讨论其新工作时解释了采用「混合宽度」设计的原因：相比传统固定宽度再取子集的方案，混合宽度让同一目标模型尺寸有更多可选配置，自由度更大。若在最小子模型中就放入大部分最大宽度、再逐级加深，会得到一个超深模型，在速度和内存对比上不公平，因此没有采用。提问方则认为只做子集选择（统一宽度、训练部分层）就已足够，追问引入逐层不同宽度的必要性。