印度 Sarvam 发布 Token Factory:8 个开源模型一个 API,TTFT 仅 0.2 秒
itsOmSarraf_ · x · 2026-11-16
印度 AI 公司 Sarvam 推出 Token Factory 推理平台:单一 OpenAI 兼容 API 提供 8 个开源模型;Sarvam 105B 首 token 延迟 0.2 秒、吞吐 330 tokens/s;Gemma 4 31B 首 token 速度号称是其他服务商的 5 倍;每日处理超 450B tokens(含 DeepSeek V4.1 Flash),95.7% 的 prompt tokens 命中缓存。底层为印度最大的 B200 集群。
所属事件:印度 Sarvam 推出 Token Factory 本土托管开源模型推理(15 条相关)→
「Infra」频道最新
- 语义缓存的近失反转难题:该放弃向量检索做 LLM 缓存吗 — Artyrred · 2026-11-17
- NVIDIA cuPotential 让分子动力学提速 2-4 倍,无需换硬件 — gdefabritiis · 2026-11-17
- LLM 分布式训练入门书单:从第一性原理到 FSDP 的 10 篇必读 — East-Muffin-6472 · 2026-11-17
- 18MB 浏览器 TTS 模型 tiny-voca 走红:454万参数免 GPU 免费跑 — thisdudelikesAI · 2026-11-17
- Replicate 静默改版:nano banana 下载从 JPG 改为预签名 URL — Kyrannio · 2026-11-17
- Fireworks AI 称芯片已是商品,真正的护城河是让模型跑得更快的软件 — hargup13 · 2026-11-17