Together 推出金丝雀发布:指标门控捕获 137% 延迟回退并自动回滚
zainhas · x · 2026-09-23
Together AI 发布专门推理服务上的 Canary Rollout(金丝雀发布)功能,用于在生产环境无停机地升级模型。
核心机制:
- 以门控步骤将线上流量从旧模型逐步切到新 checkpoint,每次切流前运行健康检查
- 金丝雀阶段可加指标门(如 p95 延迟、错误率),每步之后评估
- 门被触发时 rollout 暂停在当前流量份额,可取消并反向执行,全程服务不中断
文中给出实战案例:Qwen2.5-7B → Qwen3.5-9B 的金丝雀发布,指标门在仅 10% 流量时就捕获到 137% 的 p95 延迟回归,团队取消并回滚,期间正常请求全部成功、零失败。
文章指出硬切换模型的常见痛点:p95 翻倍只能靠监控或用户投诉发现,然后仓促回滚。配套发布了 docs、CLI 与 rollout 创建 API。
所属事件:Together AI 推出金丝雀发布：模型升级不停机(2 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12