12GB 显卡跑 DeepSeek-V4.1-Flash 达 30 tok/s,附完整调优细节

midokino · reddit · 2026-11-21

Reddit 用户 midokino 分享在普通游戏 PC 上本地运行 DeepSeek-V4.1-Flash(ISTA-DASLab IQ2XS 2.25bpw 量化,266GB)的完整方案,已在 GitHub 开源(kuu-Strata-fork)。

硬件:RTX 5070 12GB + Ryzen 7 9700X + 64GB DDR5 + NVMe。

速度(开箱仅 5 tok/s):

质量:GPQA Diamond 89.9%(量化卡标称 90.40,原模型 90.91);HumanEval+/EvalPlus 94.5/90.2%;KLD 0.183(偏高,来自跳过 SSD 专家);保守预设 KLD 0.057 且成绩基本持平。

最有效的优化:

作者寻求有 500GB 内存条件的人帮忙测这些设置对原模型的 KLD。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →