单卡 5090 跑满精度 DeepSeek V4.1:SSD 流式推理达 1770 tok/s 预填充
Front_Eagle739 · reddit · 2026-10-28
开发者开源了 streaming-llama-stack:面向小显存+快速 SSD 系统的流式/解聚合推理栈,在 1×RTX 5090 + 32GB DDR5 + 25GB/s RAID0 上以原生精度跑 DeepSeek V4.1,预填充最高 1770 tok/s,解码 7-20 tok/s。
玩法
- DirectStorage 从 NVMe 流式预填充装不进显存的大模型;解码时可用 router bias 优先命中显存缓存的专家,达 20 tok/s,全精度普通解码约 7 tok/s。
- 支持预填充/解码分离:RTX 机器预填充,KV/状态经网络传到大内存 Mac 或服务器解码,自动按 prompt 长度选更快的机器。
- WebUI 可动态调 router bias,在最高质量与最快速度间连续取舍;支持分阶段设定(推理快速、代码块最高质量)。
- 已实测在单张 5090 上全精度跑 MiniMax H3 和 Magi 2 Preview,速度接近常驻显存。
- 附 20 分钟单卡训练 identity LoRA 的配方;支持跨引擎混搭(流式预填充 + MLX 系解码,自动做 KV 转换)。
限制:流式解码目前仅支持 DSV4.1(GLM 5.3 flash 在做);流式预填充支持 GLM 5 系列、Step 3、Kimi K2.5/6/7;仅 Windows、仅 RTX 50/6000/Blackwell 卡。
「Infra」频道最新
- Mistral 云上线 DeepSeek V4.1 Flash 与 GLM 5.3 Flash 两款低价模型 — MistralAI · 2026-10-28
- 单卡 RTX 4090 实测 Wan2.2 TI2V-5B:每 5 秒片段约 8.5 分钟,三段两条崩脸 — NoEagle3604 · 2026-10-28
- 云厂商别忘本：企业上云主力仍是计算存储网络等基础服务 — DavidLinthicum · 2026-10-28
- 沙特 HUMAIN 披露 AI 基础设施筹建：选址与电力评估先行 — HUMAIN · 2026-10-28
- llama.cpp 新 PR 融合 MoE 矩阵乘与 GLU,Qwen3 系列 CUDA 吞吐最高提 17% — jacek2023 · 2026-10-28
- 5分钟可视化拆解LLM API调用全链路：从网关到GPU — HowDevelop · 2026-10-28