专题 · FULL STORY

Redis作者优化DeepSeek推理速度

Redis作者antirez持续分享DwarfStar推理引擎进展,通过量化与动态路由等技术,将DeepSeek V4模型的单机推理速度显著提升至170 t/s。

2026-08-17 ~ 2026-08-17 · 2 集 · 5 条

第 1 集 · Redis作者优化DeepSeek V4推理速度达45 t/s(2026-08-17,3 条)

Redis作者antirez展示了DwarfStar推理引擎的进展,通过Q2量化和动态路由专家冷热分层技术,将DeepSeek V4 PRO模型在单机上的推理速度提升至45 t/s。该优化能根据使用情况自适应地将专家从VRAM迁移至RAM。

第 2 集 · antirez优化DwarfStar推理达170 t/s(2026-08-17,2 条)

Redis作者antirez分享了DwarfStar推理引擎在Station上的实测数据。在被问及使用MXFP4和Flash模型(而非PRO版本)的性能后,他经过约48小时的优化,最终实现170 t/s的生成速度(无DFlash)以及22k tokens/s的预填充速度。