新论文提出递归 Transformer：层参数共享压缩模型

max_paperclips · x · 2026-09-02

一篇新论文探索了通过层参数共享来压缩大模型的方法，称为“Relaxed Recursive Transformers”。该方法在预训练 Transformer 的基础上，通过循环复用单层模块并结合深度方向的 LoRA 适配层，大幅减少参数量。实验表明，这种方法能保持甚至超越同尺寸模型（如 TinyLlama）的性能，并接近完整模型的水平。讨论还涉及了“深度批次处理”等优化算力利用的技巧，指出这种方法主要优势在于存储和 KV 缓存优化，而非单纯的速度提升。