Pipeshift 服 Gemma 4 31B 首 token 快 40%,日吞吐 1500 亿 tokens
NirantK · x · 2026-11-17
Sarvam AI 宣称其在 Token Factory 上服务 Gemma 4 31B 实时对话:首 token 时间比另一家供应商快 5 倍,每秒生成 token 多 1.6 倍,每天已服务 1500 亿 tokens。随后 Pipeshift 曝出对比数据反驳:同样硬件(1× B300、11.2K prompt、单流、P50)下,Pipeshift 首 token 仅 0.24s(Sarvam 0.40s,低 40%),输出速度 359 tokens/s 对 308 tokens/s(高 20%)。arkobuilds 转发并称 Pipeshift 是很好的备选方案。
「Infra」频道最新
- Alchemy 实现客户端读己之写:命令回执自动随读请求发送 — samgoodwin89 · 2026-11-17
- LoopFill 无训练投机解码加速 Looped Transformer 推理 — UIUC-CS · 2026-11-17
- 腾讯 DSpine 推测解码上线:27B 模型提速至 4.5 倍、90-125 tok/s — pmttyji · 2026-11-17
- 直言算力不缺:千卡 GPU 全靠短期合同入手,六成是 B300 — SumitGup · 2026-11-17
- 开源项目 Agent Substrate 让空闲 Agent 挂起唤醒,同硬件跑 10 倍 Agent — Saboo_Shubham_ · 2026-11-17
- OpenAI 代理记忆系统省钱三招:缓存 TTL、Flex 减半、少调用 — gabrielchua · 2026-11-17