单卡 3090 跑 DeepSeek-V4.1-Flash:Delta 引擎 v0.93 达 41 tok/s

musicurgy · reddit · 2026-11-06

开发者 musicurgy 发布 Delta Inference Engine v0.93,可在 24GB RTX 3090 + 大内存 Windows 主机上原生运行 DeepSeek-V4.1-Flash 量化版。

核心数据:

192GB RAM 下 Unsloth IQ2 量化维持 41 tok/s,质量较上版 ds4 Q2 提升:99 题基准从 52 对升至 57 对,仅比完整 API 模型(59 对)少 2 分,且少用 11% token
内存门槛大降:64GB/96GB/128GB 均成为可用选项(64GB 下 IQ1S 约 30 tok/s),SSD 预读在 64GB 配置提速 22%
首 token 延迟缩短约 40%(180 token 提示词从 3.8s 降至 2.3s),长提示词读取最高 740 tok/s
与 DeepSeek API 下一 token 一致率 89-97%,作者测算完整模型两台主机间一致率也只有 98.3-98.9%,即 IQ2 已接近上限
新增:原生读取 Unsloth Engram 表、EXL3 支持、基础多 GPU(3060+3090 提升约 7%)、公开 CI 构建、Setup 配置页、超 65K 上下文修复等

项目已在 GitHub 开源(delta-inference-engine),代表作贡献了完整测试表格与方法说明。

「Infra」频道最新