Sarvam AI用MXFP8+vLLM部署GLM 5.3:TTFT减半、吞吐翻倍
HarveenChadha · x · 2026-11-16
印度 AI 公司 Sarvam AI 宣布在 vLLM 上以 MXFP8 精度提供 GLM 5.3 推理服务,官方数据称首 token 时间(TTFT)减半、吞吐量翻倍。
Harveen Chadha 转发并补充视角:更快推理不只对客户重要,对模型训练本身同样关键——一是 evals,推理越快反馈越快;二是后训练,RL 中更快的 rollout 意味着更多实验时间和更高研究迭代速度。他表示自己曾参与 token factory 相关工作,并正把那些经验应用到 RL 中。
「Infra」频道最新
- Peter Diamandis:先建成吉瓦级算力的国家将制定智能定价 — PeterDiamandis · 2026-11-17
- Gemini Managed Agents 支持自托管:模型在谷歌跑,工具在你机器上执行 — _philschmid · 2026-11-17
- RWKV-8 RPU 预览:实时推理达每秒 12500+ tokens — kastnerkyle · 2026-11-17
- AI 预算悖论:日常任务用最贵模型,真正的重写却被月度额度卡死 — ruslansv · 2026-11-16
- llm-d 边缘推理实践:prefill 与 decode 分离部署的真实案例 — HowDevelop · 2026-11-16
- KubeCon 演讲实录:用 OpenTelemetry+Argo Rollouts 打造能自愈部署的 AI SRE — HowDevelop · 2026-11-16