Sarvam AI用MXFP8+vLLM部署GLM 5.3:TTFT减半、吞吐翻倍

HarveenChadha · x · 2026-11-16

印度 AI 公司 Sarvam AI 宣布在 vLLM 上以 MXFP8 精度提供 GLM 5.3 推理服务,官方数据称首 token 时间(TTFT)减半、吞吐量翻倍。

Harveen Chadha 转发并补充视角:更快推理不只对客户重要,对模型训练本身同样关键——一是 evals,推理越快反馈越快;二是后训练,RL 中更快的 rollout 意味着更多实验时间和更高研究迭代速度。他表示自己曾参与 token factory 相关工作,并正把那些经验应用到 RL 中。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →