Redis作者优化DeepSeek V4推理速度达45 t/s

Redis作者antirez展示了DwarfStar推理引擎的进展,通过Q2量化和动态路由专家冷热分层技术,将DeepSeek V4 PRO模型在单机上的推理速度提升至45 t/s。该优化能根据使用情况自适应地将专家从VRAM迁移至RAM。

2026-08-17 ~ 2026-08-17 · 3 条相关

事件全程(共 2 集)→