实测 19 组 LLM 供应商:同模型 TTFT 差异可达 7 倍
lluisantoni · reddit · 2026-10-22
Kottos AI 的开发者分享了一项 LLM 供应商排队监测实践:用每分钟发送一次短 prompt 的 TTFT（首 token 时间）作为 RTT+排队时间的代理指标，持续探测各供应商。
以 DeepSeek V4.1 Flash 为例，24 小时中位 TTFT：Baseten 112ms（$1.20/M）、Fireworks US 162ms（$1.80/M）、Together 172ms、DeepInfra 311ms（$0.42/M）、Fireworks 其余区域 755ms——同模型不同供应商差距可达 7 倍。同一供应商也会出现延迟尖峰。
团队在 data.kottos.ai/probe.json 公开了 19 组 provider-model 对（含 Claude Opus 5.5、GPT-6 Sol 等）的每分钟更新原始数据，RTT 数据保留私有。
「Infra」频道最新
- Megakernel 框架宣称单内核跑万亿参数预训练 — basedjensen · 2026-10-22
- PyTorchCon 深入优化器内核：QR、特征分解与 Cholesky 如何提速训练 — PyTorch · 2026-10-22
- CoreWeave 被指陷反身性信用循环:债价越跌融资越贵风险越高 — vasuman · 2026-10-22
- Bulatov 列本地模型看空理由：数据中心智能性价比更高 — yaroslavvb · 2026-10-22
- vLLM 发布 TorchTPU：PyTorch 原生工具链登陆 TPU 推理 — PyTorch · 2026-10-22
- Wiz 实锤 LiteLLM 供应链事件：失窃凭据已被用于 LLMJacking 滥用 — wunderwuzzi23 · 2026-10-22