Pipeshift 服 Gemma 4 31B 首 token 快 40%,日吞吐 1500 亿 tokens

NirantK · x · 2026-11-17

Sarvam AI 宣称其在 Token Factory 上服务 Gemma 4 31B 实时对话:首 token 时间比另一家供应商快 5 倍,每秒生成 token 多 1.6 倍,每天已服务 1500 亿 tokens。随后 Pipeshift 曝出对比数据反驳:同样硬件(1× B300、11.2K prompt、单流、P50)下,Pipeshift 首 token 仅 0.24s(Sarvam 0.40s,低 40%),输出速度 359 tokens/s 对 308 tokens/s(高 20%)。arkobuilds 转发并称 Pipeshift 是很好的备选方案。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →