Unsloth 量化 DeepSeek V4.1-Flash：1-bit 体积砍半仍保 88% 精度
danielhanchen · x · 2026-10-20
Daniel Han（Unsloth）团队为 DeepSeek V4.1-Flash-1017 实现了 llama.cpp 支持并制作动态 GGUF 量化版本。- 1-bit 量化将模型体积从 508GB 压到 250GB（-52%），仍保留约 88.2% 精度，可在 128GB+ 内存的设备上运行。- 模型的 engram/PLE 模块可在 MXFP8、Q6K、Q5K、IQ4NL 精度间切换：实测 Q6K 约等于 MXFP8，IQ4NL 略有精度损失。- engram 支持直接从磁盘流式读取，进一步降低内存需求。- 团队称 V4.1 Flash 1017 是目前最强开源模型，已放出本地运行指南与 GGUF 下载。
「Infra」频道最新
- Together 推出后训练服务：RL 与 SFT 两种方式定制专属模型 — togethercompute · 2026-10-20
- 曝梁文锋本想自研算力芯片，被华为以产能稀缺说服合作 — teortaxesTex · 2026-10-20
- TwelveLabs Pegasus 1.5 上线 Bedrock：2小时视频转结构化时间戳 JSON — AWS ML Blog · 2026-10-20
- NVIDIA Ian Buck 谈 AI 工厂如何配合电网错峰调度算力 — nvidia · 2026-10-20
- p99 容器冷启动延迟降 63%,Cloud Run 服务日省 19 小时算力 — DanielLockyer · 2026-10-20
- Late Interaction 2026 演讲：单向量检索把所有线索压成一个摘要 — IgorCarron · 2026-10-20