SGLang 支持 Inkling-Small 本地运行，双节点实现 24 tok/s
ying11231 · x · 2026-08-01
SGLang 宣布正式支持在 2 台 NVIDIA DGX Spark 系统上运行 Inkling-Small 模型，设备间通过 ConnectX-7 连接。
该部署方案旨在紧凑的硬件平台上实现强大的本地智能体能力。在未开启 MTP（多 Token 预测）且并发数为 1 的测试条件下，当前设置可达到 24 tok/s 的生成速度。
所属事件:SGLang 支持双节点本地运行 Inkling-Small(2 条相关)→
「编程与Agent」频道最新
- 用数学模式与 Gemini 智能体在 Antigravity CLI 里作曲的玩法实验 — fofrAI · 2026-10-16
- 去掉框架手写 Agent 循环：LangGraph 到底帮你做了什么 — m3m3o · 2026-10-16
- 博主称免费版用户已严重低估 10 个月来 AI Agent 的进步 — realmeetjames · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- 腾讯混元开源 Hy Memory 2.0:模型+框架+MemHub 三件套管 Agent 记忆 — TencentHunyuan · 2026-10-16
- ERP•AI 推出按机器计费的企业软件:0 美元席位, $1 可跑 4000 次记录写入 — rohanpaul_ai · 2026-10-16