Google 说 Gemini Batch API 延迟降 80%，成功率超 99.998%
CodeByPoonam · x · 2026-07-21
Google 说 Gemini Batch API 延迟大降，成功率已超 99.998%
这条更新讲的是 Gemini Batch API 的基础设施升级，重点是批处理的稳定性和时延表现：
- p95 延迟下降 80%
- p99 延迟下降 68%
- batch 成功率提升到 99.998% 以上
- batch 过期次数减少 98%
- 新增了 partial batches 支持
整体来看，这次更新是一次面向规模化批处理的后端优化，目标是让批处理更稳、更少失败，也更容易落地。
所属事件:Google升级Gemini Batch API，延迟大降且成功率超99.99%(2 条相关)→
「Infra」频道最新
- NVIDIA 在 AMD AI 事件前公开 Vera CPU 架构细节 — ryanshrout · 2026-07-22
- oMLX 0.5.2 增加菜单栏统计和低比特解码内核 — awnihannun · 2026-07-22
- Strangeworks 推出 Aura，把企业运营变成优化系统 — whurley · 2026-07-22
- 图计算工作负载 854.graph500 进入 SPEC CPU 2026 — Prof_DavidBader · 2026-07-22
- HilbertRaum 开源一款完全本地运行的私有 AI 聊天应用 — Vladowski · 2026-07-22
- 混合与本地推理，正在成为 AI 能耗和 token 成本的解法 — dmitry140 · 2026-07-22