PyTorchCon 中国:Viettel 分享 Kubernetes 上的 Token-as-a-Service 推理平台
PyTorch · x · 2026-09-09
PyTorchCon China 2026 上，Viettel 的 Trong Vinh Nguyen 展示了在 Kubernetes 云原生栈上运行 PyTorch 大规模 AI 推理的实践：用 CNCF 工具做 GPU 池化与多租户切配，叠加 PyTorch 基金会项目做服务优化，OIF 位于裸金属层；并覆盖混合 GPU 代际集群上的批调度、GPU 资源分配与云端模型部署编排，最终构成让全集群 GPU 高效产出 token 的 Token-as-a-Service 平台。
所属事件:Viettel 用开源三层栈统一 GPU 集群打造推理服务平台(2 条相关)→
「Infra」频道最新
- 播客热议 Broadcom 定制 ASIC 与 2027 供给瓶颈，兼谈 Nvidia 收购 Hugging Face — BenBajarin · 2026-09-09
- Magnitude 开源 Apple 芯片推理服务器:自动为 Mac 选型调优本地模型 — nickbaumann_ · 2026-09-09
- Cerebras 论文：层 dropout 省四分之一训练算力，推理提速 1.55 倍 — burny_tech · 2026-09-09
- Viettel 三层开源栈统一 GPU 集群,打造 Token-as-a-Service 平台 — PyTorch · 2026-09-09
- 动作每回合都变？把工具 Schema 放最后一条消息保住缓存 — Low_Bad_6585 · 2026-09-09
- 开源项目 minnow：主打高速的 LLaDA2.2 推理服务器 — coder543 · 2026-09-09