单张 RTX 5090 跑 DeepSeek V4.1 Flash，解码 63.5 tok/s
jesdga95 · reddit · 2026-10-21
开发者在其自研推理引擎 Basalt 中，用 RTX 5090(400W) + RTX 5060 Ti 16GB + 128GB DDR5 成功运行 DeepSeek V4.1 Flash 1017 的 IQ1S 量化版（243GB 单文件，Engram 表放 SSD）。
方法
- 全部 107 GiB 专家权重驻留 RAM，5090 作热点专家缓存；再让 5060 Ti 独立计算部分专家进一步提速。
- 专家查找分布：66% 5090、16% 5060 Ti、5% PCIe 拷贝、12% CPU。
结果（对比 llama.cpp --fit 的 20 tok/s）
- 5090 + 全专家在内存：53.6 tok/s 解码，610 tok/s prefill。
- 加上 5060 Ti 分担专家：63.5 tok/s 解码。
- 支持 tool calls、图像、最高 1M 上下文（1M prompt 需约 26 分钟）。
- 贪心解码与 llama.cpp 全部测试 prompt 一致，IQ1S 下仍能通过大部分常用基准，回忆能力明显高于 Qwen 3.8 FN。
瓶颈：留在 CPU 的 12% 专家查找受 DDR5 双通道限制严重拖速；推测解码仅 1.1-1.2x 收益。作者判断升级到 96GB+ 显存或四/八通道 DDR5 才值得继续压榨。
「Infra」频道最新
- RTX 3090 遭 NVIDIA 驱动锁半速，gpu-unlock 补丁使 BF16 张量算力提升 1.9 倍 — sn2006gy · 2026-10-22
- Google 开源 TorchTPU：PyTorch 工作负载可少改动迁移至 TPU — mark_k · 2026-10-21
- Reddit 用户实测 Qwen 3.8 Flash Next:量化后体验堪比去年职业级模型 — sshwifty · 2026-10-21
- Vercel 让所有编码 agent harness 上云常驻,合上笔记本也能跑数月 — mitsuhiko · 2026-10-21
- 256GB Mac Studio跑Qwen3.8-Flash实测快过DGX Spark一倍 — GabGarrett · 2026-10-21
- PHP 爆 php2shell 严重漏洞,波及 PHP 5.4+ 全部网站 — 0xkarasy · 2026-10-21