单 CPU + 8.24GB 内存跑 2.78 万亿参数 Kimi K3 推理
udmrzn · x · 2026-09-11
HuggingModels 转发OSP 项目演示：在无 GPU、无 BLAS、无框架的条件下，仅靠单颗 CPU 和 8.24GB 内存完成 2.78 万亿参数的 Kimi K3 推理。这类极端压缩/流式加载方案通常依赖将权重逐层从磁盘流式读入，展示了本地部署 Ultra 级大模型的一种激进路线，具体精度与速度尚待原项目说明验证。
所属事件:单 CPU 8.24GB 内存跑通 2.78 万亿参数 Kimi K3(3 条相关)→
「Infra」频道最新
- S2-Attention：用 Triton 内核让稀疏注意力真正跑出实测加速 — burkov · 2026-09-11
- Together GPU 集群推出抢占式算力,价格为按需的一半 — togethercompute · 2026-09-11
- 新模型跑分「离谱」:效率直逼 Sol/Opus 水平，RL 基建细节曝光 — nrehiew_ · 2026-09-11
- SageMaker 前缀感知路由上线：P50 TTFT 最多降 77% — AWS ML Blog · 2026-09-11
- Dwarkesh 对谈 Dylan Patel:AI 的钱到底花在哪了 — Dwarkesh Patel · 2026-09-11
- 黄仁勋解释 Nvidia 明年何以再增 70%，坚称交易并非循环 — TechCrunch AI · 2026-09-11