Viettel 用开源三层栈统一 GPU 集群打造推理服务平台

在 PyTorchCon China 2026 上，Viettel 的 Trong Vinh Nguyen 分享了如何将混乱的 GPU 资源现状统一为单一平台，以应对模型复杂度与多 agent 负载的增长。该 Token-as-a-Service 平台底层采用 OpenInfra，中层使用 Kubernetes，在其上运行 PyTorch 大规模 AI 推理，形成云原生三层开源技术栈，为 Token 即服务提供统一的推理基础设施。

2026-09-09 ~ 2026-09-09 · 2 条相关

• PyTorchCon 中国:Viettel 分享 Kubernetes 上的 Token-as-a-Service 推理平台 — PyTorch · 2026-09-09
• Viettel 三层开源栈统一 GPU 集群,打造 Token-as-a-Service 平台 — PyTorch · 2026-09-09