新论文提出递归 Transformer：层参数共享压缩模型
max_paperclips · x · 2026-09-02
一篇新论文探索了通过层参数共享来压缩大模型的方法，称为“Relaxed Recursive Transformers”。该方法在预训练 Transformer 的基础上，通过循环复用单层模块并结合深度方向的 LoRA 适配层，大幅减少参数量。实验表明，这种方法能保持甚至超越同尺寸模型（如 TinyLlama）的性能，并接近完整模型的水平。讨论还涉及了“深度批次处理”等优化算力利用的技巧，指出这种方法主要优势在于存储和 KV 缓存优化，而非单纯的速度提升。
「Infra」频道最新
- API 多轮对话编辑将失效后续思考块 — eyishazyer · 2026-09-02
- 构建 AI 支出与 ROI 间的语义层，解析 Agent 成本 — AccBalanced · 2026-09-02
- AI 热门项目流量激增，传统 VPS 部署模式遭挑战 — NielsRogge · 2026-09-02
- 用 Rust 重写 Web 运行时：性能提升显著，开源在即 — mohamedmansour · 2026-09-02
- 选型求助：R9700 32GB 与 W7800 48GB 怎么选？ — 0xkbose · 2026-09-02
- 俄亥俄一小时车程内有80座数据中心，反对者却一座都指不出 — Dan_Jeffries1 · 2026-09-02