Gemini Batch API 延迟降 80%，Google 还加入部分批处理支持
OfficialLoganK · x · 2026-07-21
Google 表示，Gemini Batch API 刚完成一轮基础设施升级：
- p95 延迟下降 80%
- p99 延迟下降 68%
- 批处理成功率提升到 99.998% 以上
- 批任务过期减少 98%
- 新增 partial batches 支持
这是一条很典型的 AI 基础设施进展：重点不在模型能力，而在批处理链路的延迟、稳定性和可用性全面改善。
所属事件:Google升级Gemini Batch API，延迟大降且成功率超99.99%(2 条相关)→
「Infra」频道最新
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- Foldkit 新增 SSR 支持，Alchemy 中数行配置即可部署服务端渲染站点 — samgoodwin89 · 2026-10-27
- profiling 实测：Alchemy Cloudflare 绑定 CPU 时间最多降 166 倍 — samgoodwin89 · 2026-10-27