ktransformers：24GB显存跑大模型
dosco · x · 2026-07-18
Tsinghua 团队的 ktransformers 用一种很直接的方式优化 MoE 模型部署：
- 把真正会用到的 experts 留在 GPU 上，不常用的部分放到 CPU 上等待调用，从而在较小显存上跑更大的模型。
- 帖子声称这能让 DeepSeek-V3 / R1 在 24GB 显存下支持 139K context，并且相对标准方案有 最高 28x 的速度提升；还可让在 4 张 RTX 4090 上微调 DeepSeek-V3 成为可能。
- 项目由 清华大学 MADSYS Lab 开发，采用 Apache 2.0 协议，GitHub 星标已超过 17,000。
所属事件:ktransformers支持24G显存本地运行超大模型(4 条相关)→
「Infra」频道最新
- Anthropic 背 4750 亿美元算力合约,OpenAI 到 2030 年拟投约 7500 亿 — kyliebytes · 2026-10-27
- 首个数据中心噪音系统研究:25 座超大规模机房中 17 座无可信投诉 — AndyMasley · 2026-10-27
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 开发者抱怨 npm 新包上线要等 20 分钟，疑为防 AI 攻击限流 — cocktailpeanut · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27