DwarfStar 利用异构内存实现 3000 t/s 推理
antirez · x · 2026-08-18
开发者展示了在 DGX Station 上通过 DwarfStar 编排技术运行 DeepSeek v4 PRO 的效果。尽管模型大于显存容量，但利用主机 RAM 与 VRAM 混合设置的 peculiar 方案，实现了 3000 tokens/s 的疯狂预填充速度。作者强调需要特定的推理引擎才能充分利用特定硬件进行本地 AI。
所属事件:DeepSeek v4 本地部署预填充速度飙至 3000 t/s(2 条相关)→
「Infra」频道最新
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16
- 软银筹备 SB Energy 与机器人子公司 Roze 美国上市,估值或超 500 亿美元 — nordicinst · 2026-10-16
- TRL 复现 Modal 混合精度 RL 训练：GRPO 150 步崩塌，SC+MIS 稳到 0.72 — QGallouedec · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16