12GB 显卡跑 DeepSeek-V4.1-Flash 达 30 tok/s,附完整调优细节
midokino · reddit · 2026-11-21
Reddit 用户 midokino 分享在普通游戏 PC 上本地运行 DeepSeek-V4.1-Flash(ISTA-DASLab IQ2XS 2.25bpw 量化,266GB)的完整方案,已在 GitHub 开源(kuu-Strata-fork)。
硬件:RTX 5070 12GB + Ryzen 7 9700X + 64GB DDR5 + NVMe。
速度(开箱仅 5 tok/s):
- 代码(temp 0):32.5 tok/s;混合长任务:28 tok/s;30K prompt 读取:519 tok/s
质量:GPQA Diamond 89.9%(量化卡标称 90.40,原模型 90.91);HumanEval+/EvalPlus 94.5/90.2%;KLD 0.183(偏高,来自跳过 SSD 专家);保守预设 KLD 0.057 且成绩基本持平。
最有效的优化:
- 跳过路由权重低(20-26% 以下)、需从 SSD 读取的「轻专家」——主要提速来源,也是 KLD 来源
- 给 DSpark draft 模型设 VRAM 上限:代码 +29%、thinking +22%(强制开启反而令 prompt 处理崩溃)
- 加载后关闭分片缓冲文件句柄:prompt 读取 +7-17%
- Expert Deferral(KTransformers, SOSP '25)CPU/GPU 重叠:+11%
作者寻求有 500GB 内存条件的人帮忙测这些设置对原模型的 KLD。
「Infra」频道最新
- 超大规模云买英伟达是集中风险?分析师:别忽视需求才是共同点 — BenBajarin · 2026-11-21
- 300 美元旧笔记本本地跑 MoE 模型:4GB 显存也够用 — texhnolyze_d · 2026-11-21
- Together AI 研究主管将登 AI Dev 大会:AI 正成为自己的性能工程师 — DeepLearningAI · 2026-11-21
- OpenAI 迷恋 token 效率:下次飞跃或等到能扛住百万用户才发布 — VraserX · 2026-11-21
- 重庆赛力斯超级工厂:工业大脑调度 3000 台机器人造电动车 — HaydnBelfield · 2026-11-21
- 36M 参数开源工具让 LLM 本地「看」视频,CPU 即可跑 — Safe-Escape197 · 2026-11-21