DGX Spark 外接闲置 GPU 跑投机解码草稿模型,腾出显存给上下文
ciprianveg · reddit · 2026-09-29
作者开源了一个方案,让 DGX Spark 用户利用家里闲置的 10-24 GB GPU:把 spec-decode(投机解码)的 draft model 从 Spark 上挪到外接 GPU,通过 TCP 或 RDMA 连接,单台或 Spark 集群都支持。腾出的显存可用于更长的上下文或更高的量化质量。以 eugr-vllm 兼容 mod 的形式发布,代码在 GitHub(gb10-vllm/remote-dspark)。
「Infra」频道最新
- Raja Koduri:西方每吉瓦 AI 算力花 500-600 亿美元,中国目标不到 100 亿 — RajaXg · 2026-09-30
- DeepGEMM 移植华为昇腾并开源：GEMM 达硬件上限 99.8% — zheanxu · 2026-09-30
- 18 个月智能-成本前沿巨变:从 GPT-5 mini 17 分到 Opus 5.5 拿下 58 分 — ArtificialAnlys · 2026-09-30
- Google Project Suncatcher 首次将 TPU 送入太空，10 月 1 日随火箭升空 — allisondman · 2026-09-30
- Photon 2.6 发布:FP8+投机解码,B200 上 Qwen3.5 27B 跑出 400 tok/s — Bedrovelsen · 2026-09-30
- SGLang 把 Qwen3.8-27B 变决策模型,百毫秒内通关宝可梦火红 — zhaoran_wang · 2026-09-30