SGLang 支持双节点本地运行 Inkling-Small 模型
BanghuaZ · x · 2026-08-03
SGLang 官方宣布已正式支持在两台通过 ConnectX-7 连接的 NVIDIA DGX Spark 系统上运行 Thinky Machines 推出的 Inkling-Small 模型。该部署方案在单并发且未开启 MTP 的情况下，能达到 24 tokens/s 的生成速度，为在紧凑硬件平台上实现强大的本地智能体能力提供了可行路径。此外，针对 DeepSeek Spark 的支持也即将推出。
所属事件:SGLang 支持双节点本地运行 Inkling-Small(2 条相关)→
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16