ktransformers 让巨模可本地跑
alex_verem · x · 2026-07-18
帖子强调，大家都在聊 Kimi 的新模型，但更少有人注意到能把它真正跑在本地的仓库 ktransformers。
作者称它面向超大模型推理与微调优化，支持 CPU-GPU 异构计算；普通用户只要一块还不错的 GPU 和正常内存，就能在自己硬件上跑巨型模型，而不是依赖厂商 API、限额或服务器。仓库已经有 1.7 万多个 star，并且会在新模型发布当天跟进支持。
所属事件:ktransformers支持24G显存本地运行超大模型(4 条相关)→
「Infra」频道最新
- Anthropic 背 4750 亿美元算力合约,OpenAI 到 2030 年拟投约 7500 亿 — kyliebytes · 2026-10-27
- 首个数据中心噪音系统研究:25 座超大规模机房中 17 座无可信投诉 — AndyMasley · 2026-10-27
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 开发者抱怨 npm 新包上线要等 20 分钟，疑为防 AI 攻击限流 — cocktailpeanut · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27