万亿模型塞进个人电脑：热权重驻内存，专家放 NVMe
carrigmat · x · 2026-08-27
carrigmat 解释该方案的核心原理：权重并不全放内存。
- 现代 LLM 的大多数参数是稀疏激活的专家（experts），只是间歇性被访问，这部分留在 NVMe 固态盘上。
- 只有持续被访问的「热」权重驻留内存。这样用 128-192GB 内存 + 多块 NVMe 就能承载万亿参数模型，绕开内存容量墙。
所属事件:六千美元纯CPU服务器本地全量跑万亿级开源模型(14 条相关)→
「Infra」频道最新
- 新一代 GraalVM 亮相:免构建启动快 4 倍,内存省 50% — RealGeneKim · 2026-10-15
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15