Unsloth 发布 DeepSeek-V4.1-Flash 本地运行指南:128GB 内存可跑 1M 上下文
gnukeith · x · 2026-10-27
Unsloth 发布 DeepSeek-V4.1-Flash-1017 本地运行指南,称其为目前最强的开放模型(编码与 agentic 任务),并同步推出 Unsloth Desktop。关键信息:
- 模型为 552B backbone + 196B Engram 条件记忆参数,支持 1M 上下文;Engram 的 n-gram 表(110.6–202.8GB)可通过 mmap 留在 SSD,按需加载以省 RAM/VRAM
- Unsloth + llama.cpp 号称推理比其他 CPU/VRAM/ngram 方案快约 3 倍
- 量化版本:250.4GB 的 1-bit UD-IQ1M(对原模型 top-1 一致率 88.2%)可在 128GB RAM 设备(MacBook、DGX Spark 等)运行;UD-IQ3XXS 需 256GB(Mac Studio);无损 UD-Q8KXL 为 508.4GB
- 发帖人追问「推荐配置」的含义:308GB RAM 是否能舒服跑 1M 上下文
「Infra」频道最新
- 本地部署选卡求助:2×3090、5080 还是 R9700 跑图视频生成 — shui95827 · 2026-10-27
- 印度 IT 真正风险:每笔美元收入都要绑一份 OpenAI 订阅 — NirantK · 2026-10-27
- 旧笔记本搭语音聊天 Agent 遇 20-30 秒延迟,求助优化方案 — mesolimbic-bliss · 2026-10-27
- 美联航 661 架机装星链,乘客为上网换航司 — XFreeze · 2026-10-27
- Naveen Rao:十年内推理市场或达 10 万亿美元 — ravikantagrawal · 2026-10-27
- 热成像实拍:IREN 数据中心 8 段机房已现调试热信号,年底或 3-4 座机房上线计费 — McDonaghMatthew · 2026-10-27