Unsloth 实现 DeepSeek V4-Flash 本地无损运行,最低 110GB 内存
gnukeith · x · 2026-08-01
UnslothAI 宣布支持在本地运行最新的 DeepSeek V4 Flash 0731 模型,引发开发者热烈反响。
根据其发布的指南,用户可以通过 Unsloth 或 llama.cpp 运行该模型。具体硬件需求方面,无损 4-bit 量化版本需要 168GB 内存,而 3-bit 量化版本可在 110GB 内存的设备上运行。官方表示,该版本的性能甚至超越了 V4-Pro,且更小尺寸的量化版本也将很快推出。
所属事件:Unsloth发布DeepSeek V4 Flash 0731量化版,支持本地部署(6 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects,月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版,主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention:同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理,TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16