SGLang Day-0 支持 Kimi K3.1 Pro:单卡 33.7K tok/s,稀疏注意力更省
ying11231 · x · 2026-11-07
SGLang 宣布 Day-0 支持 Kimi K3.1 Pro，该模型用稀疏注意力（DSA）替代稠密 MLA，服务效率更高、部署更容易。关键数据：
- 单卡最高 33.7K tok/s（AgentX，GB300）
- DFlash2 + MegaKernel 下单用户 450 tok/s
- 支持 NVIDIA Vera Rubin / Blackwell / Hopper、AMD、TPU、Trainium、PPU 等多种硬件
推理云 Verda Inference 基于 SGLang、由 SGLang 核心贡献者调优，上线首日即提供 Kimi K3.1 Pro 服务。
「Infra」频道最新
- 用前沿模型训练本地 Qwen 9B,量子力学题从 2/8 提升到 7/8 — SouthernRow2710 · 2026-11-07
- 微软季度 capex 达 452 亿美元，从 OpenAI 赚了 100 亿 — draginol · 2026-11-07
- 训练 1 FLOP、推理 6 FLOP：推理栈已成超 2200 亿美元生意 — ravikantagrawal · 2026-11-07
- Chromium 源码仓库高达 200GB,.git 会膨胀到 400GB — mohamedmansour · 2026-11-07
- 把 Redis 移出 Lambda 后，函数平均耗时从 1285ms 降至约 500ms — DanielLockyer · 2026-11-07
- 博主对比：高尔夫球场和杏仁种植用水量远超数据中心 — aronchick · 2026-11-07