Google 说 Gemini Batch API 延迟降 80%,成功率超 99.998%
CodeByPoonam · x · 2026-07-21
Google 说 Gemini Batch API 延迟大降,成功率已超 99.998%
这条更新讲的是 Gemini Batch API 的基础设施升级,重点是批处理的稳定性和时延表现:
- p95 延迟下降 80%
- p99 延迟下降 68%
- batch 成功率提升到 99.998% 以上
- batch 过期次数减少 98%
- 新增了 partial batches 支持
整体来看,这次更新是一次面向规模化批处理的后端优化,目标是让批处理更稳、更少失败,也更容易落地。
所属事件:Google升级Gemini Batch API,延迟大降且成功率超99.99%(2 条相关)→
「Infra」频道最新
- Galaxy S26 纯端侧跑 MiniMax H3:7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元,PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio:6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存:显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27