vLLM 实现 TML 新模型 Day-0 支持,GB200 解码延迟降至 3.84ms
vllm_project · x · 2026-11-21
vLLM 项目宣布为 TML(Thinking Machines Lab)的 Looped Inkling 模型提供 Day-0 支持:TML 提供模型与参考实现,@inferact 与 vLLM 社区完成服务端集成。
- 在 NVIDIA GB200 上,TP1 批量 1 时 decode 延迟从 10.29ms 降到 3.84ms,批量 32 时从 16.41ms 降到 7.84ms
- 每步 kernel 数从 4,278 减至 927
- 验证覆盖数值(MoE 输出与参考实现逐位一致)、decode/prefill 状态一致性、核心算子与多 GPU 测试、serving 冒烟测试
「Infra」频道最新
- Thinking Machines 发 Inkling 2 Mini:26B 循环 MoE 本地模型,支持 1M 上下文 — mervenoyann · 2026-11-21
- Ollama CEO 撰文:企业采用开源模型的需求持续增长 — ycombinator · 2026-11-21
- 英伟达单日暴跌 13.17%,股价触及 126.75 美元 — jfischoff · 2026-11-21
- vLLM 解析 Inkling 循环架构:共享权重但各轮 KV 状态彼此独立 — vllm_project · 2026-11-21
- vLLM 首日支持 Thinking Machines 新循环 Inkling 模型 — vllm_project · 2026-11-21
- Starcloud 自建太空数据中心花 250 万美元,已把 H100 送上天 — chetanp · 2026-11-21