DeepSeek v4.1 Flash 1017 2-bit 量化版登 HF:128GB 内存可跑、M5 Max 达 20tps
returnity · reddit · 2026-10-18
Reddit 用户 returnity 为 antirez 的本地推理项目 ds4 提交 PR,让 DeepSeek v4.1 Flash 1017 的新视觉塔(vision tower)得以在量化版本中运行,并发布了对应 GGUF 量化模型到 HuggingFace。
量化沿用 antirez 原 DS4.1 Q2 配方:路由专家用 2-bit,其余部分 8-bit 或更高,配合原 FP8 engram 表。模型主干约 150GB,可在 128GB 内存机器上从 SSD 流式加载,路由专家几乎全部驻留热缓存,M5 Max 上解码速度可达 20tps;约 200GB 的 engram 表则按需从 SSD 分页调入,不常驻内存。
作者指出这个新版本改动很大:约 40% 的路由专家张量、30% 的 engram、约 50% 的视觉塔专家张量有变化,并认为它目前是最强的开放权重模型。
所属事件:开发者向 antirez 的 ds4 项目提交 PR 支持 DeepSeek v4.1 Flash(2 条相关)→
「Infra」频道最新
- Megabake 编译器让 SmolLM 达 torch.compile 5.5 倍速度 — ricklamers · 2026-10-18
- 价值 47 万美元两托盘 ZOTAC RTX 5090 在巴西机场失踪 — chemist_slime · 2026-10-18
- Mac Studio M3 Ultra 单机跑 Muse Spark,解码达 18 t/s — challis88ocarina · 2026-10-18
- EKS 实战:跨两台 GPU 节点拆分 LLM 推理,prefill/decode 分离部署 — dl_weekly · 2026-10-18
- 42 页 GPU 架构手册：厘清利用率、占用率与瓶颈的误区 — techNmak · 2026-10-18
- Solo.io 拆解 NVIDIA OpenShell 与 Agent Substrate：谁家 Agent 沙箱更能扩 — bibryam · 2026-10-18