SGLang 支持双节点本地运行 Inkling-Small

SGLang 官方宣布正式支持在两台通过 ConnectX-7 连接的 NVIDIA DGX Spark 系统上本地运行 Thinky Machines 推出的 Inkling-Small 模型。该双节点部署方案旨在紧凑的硬件环境下实现高效推理，实测运行速度可达 24 tok/s，为本地化大模型部署提供了新的技术参考。

2026-08-01 ~ 2026-08-03 · 2 条相关

• SGLang 支持 Inkling-Small 本地运行，双节点实现 24 tok/s — ying11231 · 2026-08-01

另有 1 条近重复转述:BanghuaZ