DGX Spark 外接闲置 GPU 跑投机解码草稿模型,腾出显存给上下文
ciprianveg · reddit · 2026-09-29
作者开源了一个方案,让 DGX Spark 用户利用家里闲置的 10-24 GB GPU:把 spec-decode(投机解码)的 draft model 从 Spark 上挪到外接 GPU,通过 TCP 或 RDMA 连接,单台或 Spark 集群都支持。腾出的显存可用于更长的上下文或更高的量化质量。以 eugr-vllm 兼容 mod 的形式发布,代码在 GitHub(gb10-vllm/remote-dspark)。
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16