Together AI 上线灰度发布：模型升级不停机，分步切流自动回滚
togethercompute · x · 2026-09-23
Together AI 在 Dedicated Model Inference 上推出 canary rollouts（灰度发布），可在不停机的情况下升级线上端点背后的模型。
- 流量按门控步骤从旧部署迁移到新模型（默认 5% → 25% → 50% → 100%）
- 切流前先跑健康检查，每步之后用指标门控对比新旧模型的 p95 延迟和错误率
- 门控失败时发布暂停在当前灰度比例，用户可选择恢复、全量或回滚
- 支持三种策略：canary、blue-green、rolling，已可通过 tg CLI、REST API 和 Python SDK 使用
所属事件:Together AI 推出金丝雀发布：模型升级不停机(2 条相关)→
「Infra」频道最新
- Unsloth Desktop 热修复：Qwen-Image-2.1 支持图像编辑与量化修复 — danielhanchen · 2026-09-23
- 128GB Strix Halo 跑 Qwen3.6 35B-A3B 稳定 50 tok/s,用户问现在最优解是什么 — jankeydankey · 2026-09-23
- 专为大规模运行 Agent 的专用硬件亮相 — cyrilzakka · 2026-09-23
- 三元权重压缩 27B 模型仅 5.9GB,推理能力保留 95% — cephaloform · 2026-09-23
- RTX5090 上 Qwen 27B 跑 24 小时,自主写出完整 Postgres-SpringBoot-React 表格应用 — anglepoiselife · 2026-09-23
- OpenRoboto Shift 发布:众包第一视角视频训练人形机器人大脑 — markjeffrey · 2026-09-23