128GB Mac 硬塞 1.6TB 权重，Kimi K3 极限本地部署实测

机器之心 · wechat · 2026-08-01

2.8万亿参数的 Kimi K3 开放权重后，如何在本地运行成为了开发者的挑战。有开发者在一台 128GB 统一内存的 Mac 上，通过流式读取硬盘的方式，成功加载了 1.56TB 的官方 MXFP4 权重。虽然模型能正常回答，但生成速度仅为 0.32 token/s。

另一团队则通过堆砌消费级显卡解决了性能问题。他们使用 80 张 RTX 5090 组成 10 节点集群，总显存达 2.56TB。在未进一步量化的情况下，完整运行 Kimi K3 官方权重，首日实测推理速度达到 20 token/s，基本进入可用范围。这证明了在没有 HBM 和高速互联的情况下，消费级 GPU 集群依然能以可用速度运行超大规模模型。