Redis作者优化DeepSeek V4推理速度达45 t/s
Redis作者antirez展示了DwarfStar推理引擎的进展,通过Q2量化和动态路由专家冷热分层技术,将DeepSeek V4 PRO模型在单机上的推理速度提升至45 t/s。该优化能根据使用情况自适应地将专家从VRAM迁移至RAM。
2026-08-17 ~ 2026-08-17 · 3 条相关
- 第 1 集:Redis作者优化DeepSeek V4推理速度达45 t/s(2026-08-17,3 条)
- 第 2 集:antirez优化DwarfStar推理达170 t/s(2026-08-17,2 条)
- DeepSeek v4 PRO Q2 实测:VRAM/RAM 混合推理达 45 t/s — antirez · 2026-08-17
- antirez 的 DwarfStar:专家冷热分层,单机跑 DeepSeek V4 达 45 t/s — antirez · 2026-08-17
- 动态路由专家迁移:从 VRAM 到 RAM 的自适应优化 — antirez · 2026-08-17