ktransformers：24GB显存跑大模型
dosco · x · 2026-07-18
Tsinghua 团队的 **ktransformers** 用一种很直接的方式优化 MoE 模型部署： - 把真正会用到的 experts 留在 GPU 上，不常用的部分放到 CPU 上等待调用，从而在较小显存上跑更大的模型。 - 帖子声称这能让 **DeepSeek-V3 / R1 在 24GB 显存下支持 139K context**，并且相对标准方案有 **最高 28x** 的速度提升；还可让在 **4 张 RTX 4090** 上微调 DeepSeek-V3 成为可能。 - 项目由 **清华大学 MADSYS Lab** 开发，采用 **Apache 2.0** 协议，GitHub 星标已超过 **17,000**。