SGLang 首发优化 Inkling 2 Small：单用户 576 tok/s

LiTianleli · x · 2026-11-13

SGLang 团队宣布对 Inkling 2 Small 的 Day-0 支持，称该模型在同一高效骨干上带来更强的 agentic coding、视觉与知识工作能力。具体优化数据：在 NVIDIA Vera Rubin 上 batch 1 单用户吞吐 576 tok/s，batch 192 时单用户 123 tok/s；仅用 8 张 Blackwell GPU 即可用 Miles 跑文本与视觉 RL 微调；已覆盖 Vera Rubin、Blackwell、Hopper、AMD MI350X/MI355X 及 Google TPU v7x。

原文链接 →

「Infra」频道最新

• 「新加坡」占英伟达营收 15-20%,评论区调侃早有征兆 — JensHonack · 2026-11-13
• SGLang Summit 议程曝光:LinkedIn 广告模型 10K QPS 延迟低于 80ms — DavidBennett__ · 2026-11-13
• 开源权重会泄露训练用 GPU：取证方法显示六款中国新模型用的是 Blackwell — Antique_Atmosphere97 · 2026-11-13
• 梗图科普：CUDA 就是为并行许多 Alice Huang 而优化 — djcows · 2026-11-13
• Perplexity Mac 版惊现本地模型选项,桌面端或将支持离线运行 — dnlkwk · 2026-11-13
• 2-bit DeepSeek V4.1 Flash 在双 V100 上跑编码 agent:12 小时实测 — a4mula · 2026-11-13

更多「Infra」频道 AI 资讯 →