Kimi K3 本地跑分传闻
Stefania_druga · x · 2026-07-18
转推内容在猜测 Kimi K3 的本地部署门槛：按传闻参数量估算，可能需要 4 台 512GB M3 Ultra Mac Studio 才能跑起来，总内存约 2TB，并配合 MTP + Tensor Parallelism、通过 Thunderbolt 5 的 RDMA 做并行。
原帖还提到，若权重落地后，作者会在本地平台上放出完整 benchmark；目前只是基于 rumor 的预估，认为在本地可能能跑到 30+ tok/s，而前向预填充会偏慢，但如果未来有 512GB M5 Ultra，预填充速度可能提升约 5 倍。
所属事件:社区热议 Kimi K3 本地部署的极高硬件门槛(4 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18