专题 · FULL STORY
Redis作者优化DeepSeek推理速度
Redis作者antirez持续分享DwarfStar推理引擎进展,通过量化与动态路由等技术,将DeepSeek V4模型的单机推理速度显著提升至170 t/s。
2026-08-17 ~ 2026-08-17 · 2 集 · 5 条
第 1 集 · Redis作者优化DeepSeek V4推理速度达45 t/s(2026-08-17,3 条)
Redis作者antirez展示了DwarfStar推理引擎的进展,通过Q2量化和动态路由专家冷热分层技术,将DeepSeek V4 PRO模型在单机上的推理速度提升至45 t/s。该优化能根据使用情况自适应地将专家从VRAM迁移至RAM。
- DeepSeek v4 PRO Q2 实测:VRAM/RAM 混合推理达 45 t/s — antirez · 2026-08-17
- antirez 的 DwarfStar:专家冷热分层,单机跑 DeepSeek V4 达 45 t/s — antirez · 2026-08-17
- 动态路由专家迁移:从 VRAM 到 RAM 的自适应优化 — antirez · 2026-08-17
第 2 集 · antirez优化DwarfStar推理达170 t/s(2026-08-17,2 条)
Redis作者antirez分享了DwarfStar推理引擎在Station上的实测数据。在被问及使用MXFP4和Flash模型(而非PRO版本)的性能后,他经过约48小时的优化,最终实现170 t/s的生成速度(无DFlash)以及22k tokens/s的预填充速度。
- antirez优化DwarfStar:Station上170 t/s生成,22k tokens/s预填充 — antirez · 2026-08-17
- DwarfStar 推理引擎实测:Station 170 t/s 生成 — antirez · 2026-08-17