清华 KT-FT 让 CPU 参与 MoE 微调计算，吞吐量最高提升 21.2 倍

jiqizhixin · x · 2026-10-25

清华大学 MADSys 实验室与 KV-Cache Tech 发布 KTransformers-FineTune（KT-FT），针对大 MoE 模型微调时 GPU 显存不足、权重需经 PCIe 从 CPU 搬运导致的低吞吐问题。传统 CPU-GPU 权重 offload 方案中，MoE 稀疏计算完成太快，GPU 算力无法掩盖巨大的权重传输开销。KT-FT 的思路是不再把 CPU 当作被动的权重仓库，而是让 CPU 直接参与 MoE 微调计算，与 GPU 协同消除传输瓶颈，微调吞吐量相比传统方案提升 2.5 至 21.2 倍。团队还与开源项目 LlamaFactory 合作构建易用生态。论文作者包括清华、浙大、北航及 DeepSeek-AI 等多方研究者。