双卡 192GB 玩家跑通 456GB 版 DeepSeek v4.1,SSD 分担专家权重
HankYeomans · x · 2026-10-08
开发者 HankYeomans 分享了一个本地运行 DeepSeek v4.1 Flash MXFP4 的混合方案:模型总大小约 456GB,他用两块 GPU(合计 192GB 显存)加载核心部分,放不下的 MoE 专家权重则分配到内存和 SSD。他表示目前响应质量已经「相当不错」,但也承认这只是小型测试。
这条帖子展示了超大 MoE 模型在消费级/工作站级硬件上跑通的一种思路——用分层存储(显存 + 内存 + SSD)换取有限显存下的完整模型运行,对本地部署社区有参考价值。
「Infra」频道最新
- StackOverflow 2026 调查:Postgres 以 58% 使用率稳居第一 — dshukertjr · 2026-10-08
- 不花现金:用 opencode 积分换 GB300 算力额度 — const_reborn · 2026-10-08
- AI-SQL 太贵怎么办:Berkeley 团队详解用查询计划削减百万级 LLM 调用 — HamelHusain · 2026-10-08
- Together 登顶 OpenRouter 最大的 provider,吞吐量第一 — NVIDIAAI · 2026-10-08
- umbrelOS 2.0 本地 AI 两步搞定:自动识别 GPU 秒级部署 — JosephJacks_ · 2026-10-08
- Google AI 基建掌门人：每瓦 goodput 是北极星指标 — samiramanabi · 2026-10-08