印度 Sarvam 上线 Token Factory:B200 集群跑 Kimi 与 GLM
itsOmSarraf_ · x · 2026-11-17
Sarvam AI 宣布其推理服务平台 Token Factory 正式上线。工程师团队自述过去几个月端到端搭建了整套 serving stack:在 B200 集群上跑起 Kimi K3.1 Pro 和 GLM 5.3 等第三方模型,实现了多层级 KV cache 和 prefill/decode 分离调度。这条帖是团队成员发的技术线程开头,后续应有不少推理工程细节。
所属事件:印度 Sarvam 推出 Token Factory 本土托管开源模型推理(15 条相关)→
「Infra」频道最新
- 语义缓存的近失反转难题:该放弃向量检索做 LLM 缓存吗 — Artyrred · 2026-11-17
- NVIDIA cuPotential 让分子动力学提速 2-4 倍,无需换硬件 — gdefabritiis · 2026-11-17
- LLM 分布式训练入门书单:从第一性原理到 FSDP 的 10 篇必读 — East-Muffin-6472 · 2026-11-17
- 18MB 浏览器 TTS 模型 tiny-voca 走红:454万参数免 GPU 免费跑 — thisdudelikesAI · 2026-11-17
- Replicate 静默改版:nano banana 下载从 JPG 改为预签名 URL — Kyrannio · 2026-11-17
- Fireworks AI 称芯片已是商品,真正的护城河是让模型跑得更快的软件 — hargup13 · 2026-11-17