antirez 的 DwarfStar:专家冷热分层,单机跑 DeepSeek V4 达 45 t/s
antirez · x · 2026-08-17
antirez(Redis 作者 Salvatore Sanfilippo)继续分享其 DwarfStar 推理引擎在 DGX Station 上的进展:以 Q2 量化运行 DeepSeek V4 Pro 时,路由专家被拆分放置在 VRAM 与 RAM 中,引擎会根据历史 token 生成用量自适应地迁移专家,保证热集(hot set)始终留在显存里。当前速度为 45 token/s,且仍有提速空间。他表示这只是可行方案的起点,并再次主张 DwarfStar 有望成为 DGX Station 上的首选推理引擎。
所属事件:Redis作者优化DeepSeek V4推理速度达45 t/s(3 条相关)→
「Infra」频道最新
- 算力淘金热：CoreWeave 季度营收超早期巨头云厂商 — a16z · 2026-08-17
- 麦肯锡：自 22 年底美数据中心投资激增 200% — rvp · 2026-08-17
- RTX 3090 跑 Qwen3.8-27B 达 672 tps，极致量化优化 — iamMess · 2026-08-17
- 250 美元 FPGA 开发板实现 12000 tok/s 推理 — ycombinator · 2026-08-17
- Qwen3.8 实测：MTP 参数影响吞吐，Q4 精度胜过 Q8 — New-Inspection7034 · 2026-08-17
- 12GB 显卡实测：Qwen3.8 27B Q2 可用，MoE 更优 — CoffeeToCode99 · 2026-08-17