开源LLM推理网关SMG从LightSeek毕业,加入PyTorch生态

zhyncs42 · x · 2026-08-01

Shepherd Model Gateway (SMG) 是一个引擎无关的 LLM 推理网关,近期已从 LightSeek 基金会孵化毕业并独立运营。

作为 PyTorch 生态的一部分,SMG 将继续与 vLLM 等项目的维护者合作,共同优化和共享 LLM 推理的前端与网关基础设施。

所属事件:Rust LLM推理网关SMG从LightSeek毕业并加入PyTorch生态(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →