DeepSeek-V4-Flash单机推理实测：6.5GB模型实现48.9 tok/s
max_paperclips · x · 2026-08-03
开发者 @danpacary 在单台 DGX Spark 上成功运行了 81GB 权重的 DeepSeek-V4-Flash-0731 模型。
- 硬件配置：128GB 内存
- 纯解码速度：22.5 tok/s
- 推测式解码：加入 6.5GB 的 drafter 模型后，速度提升至 48.9 tok/s
该测试基于 antirez 开发的 ds4 推理引擎。
所属事件:DeepSeek-V4-Flash 本地部署实测：消费级显卡到 DGX Spark 全覆盖(22 条相关)→
「Infra」频道最新
- 传 Google TPU 需求激增，2028 年预计达 1500 万颗 — SumitGup · 2026-08-03
- 单 CPU 8GB 内存跑 2.78 万亿参数 Kimi K3 — Saboo_Shubham_ · 2026-08-03
- tinygrad 预告本地部署新品，暗示 Qwen3.6-27B 即将发布 — max_paperclips · 2026-08-03
- 单节点吞吐量达 952 tok/s，AMD MI355X 跑赢英伟达 B200 — adrianscottcom · 2026-08-03
- Qwen3.8-27B即将开源，17GB内存即可本地运行 — danielhanchen · 2026-08-03
- AirLLM突破显存瓶颈：4GB显存单卡跑70B大模型 — techNmak · 2026-08-03