Together AI 上线灰度发布：模型升级不停机，分步切流自动回滚
togethercompute · x · 2026-09-23
Together AI 在 Dedicated Model Inference 上推出 canary rollouts（灰度发布），可在不停机的情况下升级线上端点背后的模型。
- 流量按门控步骤从旧部署迁移到新模型（默认 5% → 25% → 50% → 100%）
- 切流前先跑健康检查，每步之后用指标门控对比新旧模型的 p95 延迟和错误率
- 门控失败时发布暂停在当前灰度比例，用户可选择恢复、全量或回滚
- 支持三种策略：canary、blue-green、rolling，已可通过 tg CLI、REST API 和 Python SDK 使用
所属事件:Together AI 推出金丝雀发布：模型升级不停机(2 条相关)→
「Infra」频道最新
- 地理空间数据栈全景图发布：从卫星观测到 AI 上下文基础设施 — clemnt · 2026-11-11
- 降价反而更贵:新模型太爱自查，单任务成本涨31% — tengyanAI · 2026-11-11
- Anthropic IPO 需求火爆传拟上调定价，目标估值 1.4 万亿美元 — firstadopter · 2026-11-11
- 本地 LLM 路由器 SimpleHarn：显存不够就拒绝加载模型 — legislat · 2026-11-11
- Rivet 推出 SQLite Forking:20ms 分叉 agent 线程且零数据拷贝 — samgoodwin89 · 2026-11-11
- 法国网友提议数据中心向周边居民付费补偿 — clemnt · 2026-11-11