antirez 的 DwarfStar:专家冷热分层,单机跑 DeepSeek V4 达 45 t/s
antirez · x · 2026-08-17
antirez(Redis 作者 Salvatore Sanfilippo)继续分享其 DwarfStar 推理引擎在 DGX Station 上的进展:以 Q2 量化运行 DeepSeek V4 Pro 时,路由专家被拆分放置在 VRAM 与 RAM 中,引擎会根据历史 token 生成用量自适应地迁移专家,保证热集(hot set)始终留在显存里。当前速度为 45 token/s,且仍有提速空间。他表示这只是可行方案的起点,并再次主张 DwarfStar 有望成为 DGX Station 上的首选推理引擎。
所属事件:Redis作者优化DeepSeek V4推理速度达45 t/s(3 条相关)→
「Infra」频道最新
- 开源 VibeZero:用 agent 一把生成整套可部署的 vibe coding 平台 — cnakazawa · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16
- 软银筹备 SB Energy 与机器人子公司 Roze 美国上市,估值或超 500 亿美元 — nordicinst · 2026-10-16
- TRL 复现 Modal 混合精度 RL 训练：GRPO 150 步崩塌，SC+MIS 稳到 0.72 — QGallouedec · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16