印度 Sarvam 发布 Token Factory:8 个开源模型一个 API,TTFT 仅 0.2 秒

itsOmSarraf_ · x · 2026-11-16

印度 AI 公司 Sarvam 推出 Token Factory 推理平台:单一 OpenAI 兼容 API 提供 8 个开源模型;Sarvam 105B 首 token 延迟 0.2 秒、吞吐 330 tokens/s;Gemma 4 31B 首 token 速度号称是其他服务商的 5 倍;每日处理超 450B tokens(含 DeepSeek V4.1 Flash),95.7% 的 prompt tokens 命中缓存。底层为印度最大的 B200 集群。

所属事件:印度 Sarvam 推出 Token Factory 本土托管开源模型推理(15 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →