mrfakename 发布 DeepSeek-V4.1-Flash-1017 GGUF 量化,Q8_0 达 473GiB
realmrfakename · x · 2026-10-18
mrfakename 在 Hugging Face 上传 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,暗示 DeepSeek 新模型 V4.1-Flash(1017 版本)已可用于 llama.cpp 本地部署。量化档位:
- Q80(473 GiB,10 个文件):除路由专家保留原生 MXFP4 外全 Q8,最接近原始权重
- Q4KM(414 GiB):路由专家本身已接近 4-bit,压缩节省有限
- Q3KM(323 GiB)
模型架构标签为 deepseek,标记 Image-Text-to-Text 与 conversational,MIT 许可。从泄露的 chat template 看,模型支持 <think> 思考模式、可配置推理强度(reasoning effort)以及 DSML 格式的工具调用,未证实为官方发布,属社区量化。
所属事件:mrfakename 发布 DeepSeek-V4.1-Flash-1017 GGUF 量化版本(2 条相关)→
「Infra」频道最新
- 单张 L4 GPU 跑 20 路低延迟马拉雅拉姆语语音 Agent 的完整架构 — DistrictUnique5259 · 2026-10-18
- AgentCave：把散落各地的 Mac Studio 与 GPU 箱塞进一个虚拟机房 — noahsolomon · 2026-10-18
- 博主测算 2026 年真实 AI 需求约 1890 亿美元，过半来自 OpenAI 和 Anthropic — builderjaydub · 2026-10-18
- AI 背板 twinax 线缆年出货量大涨：224G 世代达 8.52 万公里 — jwt0625 · 2026-10-18
- DeepSeek 新模型 4 张 RTX Pro 本地跑出 300 TPS，NVMe 卸载立功 — TheZachMueller · 2026-10-18
- SGLang Summit 赞助商一周从 11 家增至 36 家 — ying11231 · 2026-10-18