单卡 5090 跑 DeepSeek V4.1：prefill 超 4000 tok/s，解码 7-24 tok/s 可调
Front_Eagle739 · reddit · 2026-10-30
Reddit 用户发布开源项目 streaming-llama-stack，在单张 RTX 5090 + 32GB 内存 + 双 PCIe5 NVMe RAID0 上本地运行 fp4/fp8 量化的 DeepSeek V4.1，性能比上一版翻倍：
- 长 prompt prefill 超过 4000 tok/s：模型从 RAID 阵列流式读取，prefill 后释放缓冲区，把热点专家载入缓存
- 解码 7.5 tok/s 且与其他引擎输出无偏差；错过 NVMe 中的专家时用高度优化的 DirectStorage 拉取
- 提供逐 token 速度/质量滑块：约 1.5bpw 等效 KL 散度时可达 24 tok/s，可按场景在快速推理、高质量代码/工具调用、均衡回答间切换偏差
- KV 可发送到 Mac 解码；同一流式系统支持图像与视频生成，聊天中可直接请求出图出视频
作者指出 NVMe 越快整体效果越好，目前仅在自己机器上测试过，欢迎反馈。
「Infra」频道最新
- 三年便宜100万倍：智能单价呈双指数下降，DeepSeek V4.1 Flash 低至百万分之一美元 — banteg · 2026-10-31
- AWS 单季增长 39.3% 至 459.8 亿美元，AI 资本开支恐慌掩盖了基本面 — DavidLinthicum · 2026-10-31
- 搞笑创业点子：用跳水发电给池底数据中心散热兼加热泳池 — djcows · 2026-10-31
- 3.5 亿欧元的 EUV 光刻机怎么运？40 个集装箱、3 架 747 — Yamapama · 2026-10-31
- 中国人将涌入 InP 激光市场，业界预测从 2-3 年提前到明年 — jwt0625 · 2026-10-31
- SanDisk 企业价值反超 Kioxia：不拥有晶圆厂的合资结构才是赢家 — PAstynome · 2026-10-31