510GB 模型跑进 128GB 小机器:DeepSeek 新模型端侧加载妙招
pbaylies · x · 2026-09-14
推主 @0xBakeer 演示在单台 128GB 内存的 NVIDIA DGX Spark 上跑 510GB 的 DeepSeek-V4.1-Flash,开启 256k 上下文和思考模式,不用小模型也不上云。
核心技巧是利用 MoE 架构的稀疏性:每个 token 只激活 384 个专家中的 6 个,于是预先按目标任务「筛选」模型该擅长什么,只保留该任务真正需要的专家,大幅裁剪需加载的权重。
所属事件:开发者让超大 DeepSeek 模型跑进消费级设备(2 条相关)→
「Infra」频道最新
- 8GB 显卡本地跑 Flux+Wan 2.2：三个设置错误拖慢了所有渲染 — roro9- · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30