DeepSeek V4 Flash 装进 128GB Ryzen AI 平台，跑到 32 tok/s
sandropuppo · reddit · 2026-07-28
这条 Reddit 详细展示了如何把 DeepSeek V4 Flash 塞进一台 AMD Ryzen AI MAX+ 395、128GB 统一内存 的机器里，并跑出最高 32 tok/s 的解码速度。
主要信息包括：
- 作者用 ROCmFPX 系列块量化格式做了混合精度压缩，把目标模型压到 102.3 GB，约合 2.88 bits/参数。
- 在没有 speculative draft 的情况下，针对 DeepSeek 的 HIP 解码路径能达到 25.31 tok/s。
- 加上小型 DSpark draft 和 q=4 验证上限后，吞吐提升到 32.0 tok/s。
- Sparse prefill 方面，公开跑分约 245 tok/s；另一次验证在 8K 左右上下文里落在 246.8–255.9 tok/s。
作者也说明，sparse prefill 因为 reduction 顺序不同于逐 token 精确预填充，所以是可选模式；不过小规模 smoke test 已通过。
「Infra」频道最新
- Reflection AI 开源 Beam：Apache 2.0 权重+40 余家生态伙伴 — zhyncs42 · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16