ktransformers：24GB显存跑大模型
dosco · x · 2026-07-18
Tsinghua 团队的 ktransformers 用一种很直接的方式优化 MoE 模型部署：
- 把真正会用到的 experts 留在 GPU 上，不常用的部分放到 CPU 上等待调用，从而在较小显存上跑更大的模型。
- 帖子声称这能让 DeepSeek-V3 / R1 在 24GB 显存下支持 139K context，并且相对标准方案有 最高 28x 的速度提升；还可让在 4 张 RTX 4090 上微调 DeepSeek-V3 成为可能。
- 项目由 清华大学 MADSYS Lab 开发，采用 Apache 2.0 协议，GitHub 星标已超过 17,000。
所属事件:ktransformers支持24G显存本地运行超大模型(4 条相关)→
「Infra」频道最新
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11