全嵌套Transformer新架构
adityakusupati · x · 2026-07-10
帖子转述了一种名为 Fully Nested Transformers 的新结构：通过 block triangular weights，把一整族子模型嵌套在同一个模型里，并支持 token 自适应路由、自蒸馏式推理等能力。原帖强调，这让“训练一族子模型”和“同时使用它们”成为可能。
adityakusupati · x · 2026-07-10
帖子转述了一种名为 Fully Nested Transformers 的新结构：通过 block triangular weights，把一整族子模型嵌套在同一个模型里，并支持 token 自适应路由、自蒸馏式推理等能力。原帖强调，这让“训练一族子模型”和“同时使用它们”成为可能。