Merge Gateway 推出 Batch API,批量推理约半价

shensi · x · 2026-09-25

Merge Gateway 上线批量推理（Batch inference）：单次最多提交 10,000 条请求，交给供应商 batch API 处理，24 小时内完成或过期，价格通常为标准价 50%。适用于评测、数据回填、分类、文档处理和 embeddings 等非延迟敏感任务。支持 Anthropic、OpenAI 的 chat/completions、messages、responses、embeddings 端点；按行计费，单条失败不影响整批，出错/过期/取消的行不计费。文档站提供 /llms.txt 索引。

原文链接 →

「Infra」频道最新

• Muse Spark 1.3 登陆 Google Cloud 与 Oracle,云合作再扩 — alexandr_wang · 2026-09-25
• Andy Matuschak：现代芯片太耐用，算力管制难以永久封死暗训项目 — andy_matuschak · 2026-09-25
• 高通骁龙峰会：MLPerf 两代间性能与能效均实现两位数提升 — samcharrington · 2026-09-25
• HEIF Heist 图像解析漏洞链：Meta 为 FB/Instagram RCE 悬赏 10 万美元 — evilsocket · 2026-09-25
• 提出用 Jev 类系统一模型打造 Bittensor 验证者的廉价决策层 — markjeffrey · 2026-09-25
• Arcee AI 计算负责人将 keynote 质疑云原生 AI 基础设施模式 — sloppenheimer · 2026-09-25

更多「Infra」频道 AI 资讯 →