引擎无关的 Rust LLM 网关 SMG 从 LightSeek 毕业独立
vllm_project · x · 2026-08-01
由 LightSeek 基金会孵化的 LLM 推理网关项目 SMG（Shepherd Model Gateway）已正式毕业并迁移至独立的开源社区维护，同时被 PyTorch 生态收录。
项目核心特性：
- 引擎无关：基于 Rust 构建，兼容 vLLM、TRT-LLM、SGLang、OpenAI 等多种主流推理引擎与 API。
- 高级路由：提供业界首创的 gRPC 流水线、感知 KV Cache 的路由策略以及 tokenization 缓存。
- 全功能集成：支持聊天历史、Responses API、WASM 插件、MCP 协议以及多租户身份验证。
vLLM 团队也参与了合作，将多模态处理器等前端组件标准化，以便在不同开源项目间共享。
「Infra」频道最新
- 亚马逊单日暴涨创纪录，预测市场押注2026资本支出超2000亿 — Polymarket · 2026-08-01
- StudyFetch借助NVIDIA Riva将AI推理成本降低近10倍 — nvidia · 2026-08-01
- 4×3090显卡组建本地AI工作站：2026年仍是性价比之选吗？ — davyjones10Y · 2026-08-01
- Intel 开放 CDNA5 指令集架构 — xiaosun86 · 2026-08-01
- Polymarket 设定 AI 泡沫破裂条件：英伟达暴跌 50% — Polymarket · 2026-08-01
- a16z：智能爆炸本质是制造业爆炸，AI 基建需求未现放缓 — a16z · 2026-08-01