vLLM 实现 TML 新模型 Day-0 支持,GB200 解码延迟降至 3.84ms

vllm_project · x · 2026-11-21

vLLM 项目宣布为 TML(Thinking Machines Lab)的 Looped Inkling 模型提供 Day-0 支持:TML 提供模型与参考实现,@inferact 与 vLLM 社区完成服务端集成。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →