多模型切换会丢上下文吗
its_vayishu · x · 2026-07-17
作者发布了 ContinuityBench，用于衡量多供应商 LLM failover 时，备用模型到底能否拿到完整对话上下文，而不只是最后一句话。
核心实验
- 共做了 750 次受控故障切换，重复 5 轮
- 使用真实多供应商切换：OpenAI → Anthropic
- 并发设为 100
结果
- 朴素无状态 failover：上下文保留率 0.00%
- 带历史转发的 failover：上下文保留率 99.20%，95% CI 为 98.27%–99.63%
- 额外延迟很小：平均 +59ms，中位数甚至是 -450ms，主要受正常 API 波动影响，而不是转发逻辑本身
发现的问题
作者还在测试中发现一个真实系统 bug：如果在限流的备用提供方上直接把 100 个并发请求一次性切过去、又不做指数退避，就会把自己打成“自我 DDoS”，最终把备用通道也锁死。
代码、benchmark harness 和方法论都已开源，论文也即将发布。
所属事件:多模型故障切换需显式传递历史上下文(2 条相关)→
「Infra」频道最新
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- Wan2GP AMD 版一键安装上线，6GB 显存即可跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27
- Lam Research：18 个月内周均 token 用量暴涨约 250 倍 — Beth_Kindig · 2026-10-27