Kimi K3 本地跑分传闻
Stefania_druga · x · 2026-07-18
转推内容在猜测 Kimi K3 的本地部署门槛：按传闻参数量估算，可能需要 4 台 512GB M3 Ultra Mac Studio 才能跑起来，总内存约 2TB，并配合 MTP + Tensor Parallelism、通过 Thunderbolt 5 的 RDMA 做并行。
原帖还提到，若权重落地后，作者会在本地平台上放出完整 benchmark；目前只是基于 rumor 的预估，认为在本地可能能跑到 30+ tok/s，而前向预填充会偏慢，但如果未来有 512GB M5 Ultra，预填充速度可能提升约 5 倍。
所属事件:社区热议 Kimi K3 本地部署的极高硬件门槛(4 条相关)→
「Infra」频道最新
- 双 DGX Spark 实测：GLM-5.3-Flash 写作与视觉胜过 DeepSeek-V4-Flash — kuhunaxeyive · 2026-09-03
- Jeff Dean 2007 年幻灯片流出：数据中心硬件故障实录 — SumitGup · 2026-09-03
- 谷歌 Hot Chips 发布第八代 TPU:一年两款芯片,推理训练分开设计 — firstadopter · 2026-09-03
- 数据中心耗水是迷思？现代机房多用闭路冷却，用水仅如写字楼 — GlenBradley · 2026-09-03
- 推理工程吃香：vLLM/SGLang 搭副本加缓存路由核心配方 — GabGarrett · 2026-09-03
- Databricks 在 VLDB 2026 主推 agent 原生数据基础设施 Lakebase — matei_zaharia · 2026-09-03