Viettel 三层开源栈统一 GPU 集群,打造 Token-as-a-Service 平台
PyTorch · x · 2026-09-09
随着模型复杂度与多 agent 负载增长,Viettel 的 Trong Vinh Nguyen 介绍了如何把混乱的 GPU 现状统一为单一平台:底层用 OpenInfra,中层用 Cloud Native Foundation 工具做 GPU 池化与多租户切分,上层用 PyTorch 基金会项目优化推理服务,最终建成 Token-as-a-Service 平台,让新旧 GPU 都能产出 token。
所属事件:Viettel 用开源三层栈统一 GPU 集群打造推理服务平台(2 条相关)→
「Infra」频道最新
- GLM 5.3 Flash 上线 W&B serverless:1M 上下文带视觉,$0.5/百万输出 — wandb · 2026-09-09
- 播客热议 Broadcom 定制 ASIC 与 2027 供给瓶颈，兼谈 Nvidia 收购 Hugging Face — BenBajarin · 2026-09-09
- Magnitude 开源 Apple 芯片推理服务器:自动为 Mac 选型调优本地模型 — nickbaumann_ · 2026-09-09
- Cerebras 论文：层 dropout 省四分之一训练算力，推理提速 1.55 倍 — burny_tech · 2026-09-09
- 动作每回合都变？把工具 Schema 放最后一条消息保住缓存 — Low_Bad_6585 · 2026-09-09
- 开源项目 minnow：主打高速的 LLaDA2.2 推理服务器 — coder543 · 2026-09-09