层循环可放大模型质量
burny_tech · x · 2026-07-10
这条帖介绍了 Parcae 的研究：通过在训练中循环使用一组层块，可以在不增加参数量的情况下扩展 FLOPs，并形成可预测的 scaling laws。 作者表示，这种方法可在固定参数预算下，用“数据 + 循环”共同扩展模型质量，效果接近一个大一倍的 Transformer。
burny_tech · x · 2026-07-10
这条帖介绍了 Parcae 的研究：通过在训练中循环使用一组层块，可以在不增加参数量的情况下扩展 FLOPs，并形成可预测的 scaling laws。 作者表示，这种方法可在固定参数预算下，用“数据 + 循环”共同扩展模型质量，效果接近一个大一倍的 Transformer。