纯CPU跑通 Kimi K3：自研 Q3 量化占用 1.1TB，速度达 4.2 t/s
Fun-Meaning-6474 · reddit · 2026-07-30
开发团队使用定制的 llama.cpp 分支，成功将 Kimi K3（总参数 2.8T，激活 50B）量化为 GGUF 格式。目前 Q3KS 版本已跑通，占用磁盘空间约 1114.76 GiB。
硬件配置与性能：
- 租用了一台无 GPU 的服务器，配备 AMD EPYC 9554P (64核)、1.5TB DDR5 内存以及组 RAID 0 的 NVMe 硬盘。
- 使用 110 线程运行时，Prefill 512 tokens 的速度为 4.21 t/s。
质量测试：
团队对该量化版本进行了文本连贯性和图像理解测试。例如输入1969年人类登月的《纽约时报》头版图片，模型能准确列出报头、标语、日期、头条及子标题等细节，未出现明显幻觉。团队借此探讨了一个思路：与其选择参数小但速度快的模型，是否值得在 CPU 上运行这种超大型量化模型。
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16