清华 KT-FT 让 RTX 4090 微调 700B MoE,吞吐达传统卸载范式最高 21.2 倍
机器之心 · wechat · 2026-10-16
清华大学 MADSys 实验室与趋境科技主导,联合 LlamaFactory 团队发布开源项目 KTransformers-FineTune(KT-FT),解决单机显存不足以微调超大 MoE 模型的问题。
核心洞察:传统卸载范式(如 ZeRO-Offload)把专家权重存在 CPU 内存、搬到 GPU 计算,但在 MoE 稀疏负载下失效——ZeRO-Offload 的通信与同步占单步时间 94%,APTMoE 仍占 86%。以每 1B BF16 参数计,前反向需传 4GB 数据,PCIe 5.0 x16 理论峰值下需 62.5ms,而 RTX 5090 计算仅需 2.8ms,传输耗时是计算的 22 倍,计算无法掩盖搬运。
方案:KT-FT 提出 CPU/GPU 协同计算(Co-Computation)范式——CPU 用 AVX-512/AMX 指令集就地完成 MoE 专家计算,GPU 负责注意力。配套两项优化:
- 语义感知主动布局引擎:分配内存时按张量用途与执行阶段选布局,利用跨层执行顺序后台原地转换、与 GPU 计算重叠,仅保留一份参数副本;
- 动态线程调度器:细粒度任务加工作窃取,应对 MoE 路由倾斜导致的线程负载不均。
结果:在 DeepSeek-V3.1-671B、Qwen3.5-397B、Qwen3-235B 上,LoRA 微调吞吐达卸载基线的 2.5–21.2 倍(短序列优势更明显);同平台 2K 序列下 PyTorch OneDNN 实现仅 12.1 tokens/s,KT-FT 达 166.8 tokens/s。另提出可选的 LoRAExpert(LE)共享适配路径设计,以 Time-to-Quality 衡量质量收敛速度。
落地案例:海信用 8 张 RTX 4090 将下游适配模型从 30B 扩到 397B,迭代成本降 81.5%;JoyAI 在 RTX 4090 上以 65K 上下文微调约 700B MoE。项目已接入 LlamaFactory,完全开源。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18