KTransformers：大模型推理微调框架
thesupermanmx · x · 2026-07-19
KTransformers 是一个面向大模型 **推理** 与 **微调** 的研究项目，主打 CPU-GPU 异构计算优化。项目现在提供两个用户可直接使用的入口：`Inference` 和 `SFT`。 配图里列出了近期更新：支持 MiniMax-M3、GLM-5.2、DeepSeek-V4-Flash、Kimi-K2.5 等模型的 Day0 适配；还新增了 AVX2-only CPU 后端、CPU-GPU Expert Scheduling、Native BF16/FP8 per-channel precision，以及统一的 AutoDL fine-tuning/inference 工作流。