实测本地全量运行 Kimi K3 (2.8T) 的方案
carrigmat · x · 2026-08-27
作者反驳了认为 2.8T 参数的 Kimi K3 必须花费 10 万美元才能运行的看法，提出可以在本地以全质量运行该模型。具体方案包括针对 Native Experts 使用特定量化策略 (Q8)，并分享了详细的配置思路与步骤。
所属事件:六千美元纯CPU服务器本地全量跑万亿级开源模型(14 条相关)→
「Infra」频道最新
- ASML CFO 称美国限制对华 DUV 销售将适得其反 — pstAsiatech · 2026-10-15
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15