ktransformers 让巨模可本地跑
alex_verem · x · 2026-07-18
帖子强调，大家都在聊 Kimi 的新模型，但更少有人注意到能把它真正跑在本地的仓库 **ktransformers**。 作者称它面向超大模型推理与微调优化，支持 CPU-GPU 异构计算；普通用户只要一块还不错的 GPU 和正常内存，就能在自己硬件上跑巨型模型，而不是依赖厂商 API、限额或服务器。仓库已经有 1.7 万多个 star，并且会在新模型发布当天跟进支持。
alex_verem · x · 2026-07-18
帖子强调，大家都在聊 Kimi 的新模型，但更少有人注意到能把它真正跑在本地的仓库 **ktransformers**。 作者称它面向超大模型推理与微调优化，支持 CPU-GPU 异构计算；普通用户只要一块还不错的 GPU 和正常内存，就能在自己硬件上跑巨型模型，而不是依赖厂商 API、限额或服务器。仓库已经有 1.7 万多个 star，并且会在新模型发布当天跟进支持。