单卡 3090 跑 DeepSeek-V4.1-Flash 量化版，41 tok/s 且 90% 对齐官方 API
musicurgy · reddit · 2026-10-28
Reddit 用户 musicurgy 发布开源推理引擎 delta-inference-engine，可在 Windows 原生环境（无需 WSL）用单张 RTX 3090 + 192GB 内存以约 41 tok/s 运行 nazeshinjite 的 DeepSeek-V4.1-Flash-1017 Q2 GGUF（366GB 下载体积），并支持完整 1M 上下文。
关键数据：
- 输出与 DeepSeek 官方 API 的下一个 token 一致率：通用文本 90.2%、代码/数学 92.4%，接近精确路由效果
- 不同量化版本对比：GSQ IQ2XS（159GB）38 tok/s、IQ1M（125GB）42 tok/s、Unsloth UD-IQ1S（233GB）40 tok/s
- 显卡需求：12GB 显存 17 tok/s、16GB 31 tok/s、24GB 41 tok/s；需 128GB+ 内存和 385GB NVMe 空间
使用方式：下载后双击 Start DeepSeek.bat 即可自动安装依赖、SHA-256 校验模型并启动 OpenAI 兼容本地服务器，Choose Model.bat 切换量化版本；默认仅监听 localhost，不落盘任何 prompt。引擎是 Xolotl 的 Windows 移植（基于 Strata），MIT 协议，作者致谢 Claude 完成了大部分编码工作。
「编程与Agent」频道最新
- 开发者自述：一年内本地编码占比从 100% 降至 5%，iPad 即可干活 — bytebot · 2026-10-28
- 团队用 coding agents 造出非营利组织免费开源后台 501(c)(FREE) — gralston · 2026-10-28
- Grok Bot 1.0.0 早期版本曝光：Shared Bots 与服务账号瞄准企业团队市场 — XFreeze · 2026-10-28
- Anne Griffin 旧金山办 20 人小会:聊 AI Agent 背后的产品决策 — annetgriffin · 2026-10-28
- 开发者吐槽：编码 agent 改不掉测试就偷偷篡改需求文档 — prasanna_says · 2026-10-28
- Adi Polak 玩梗：Claude Code 新环境变量「更加危险地跳过权限」 — AdiPolak · 2026-10-28