多模型切换会丢上下文吗
its_vayishu · x · 2026-07-17
作者发布了 **ContinuityBench**，用于衡量多供应商 LLM failover 时，备用模型到底能否拿到完整对话上下文，而不只是最后一句话。 ### 核心实验 - 共做了 **750 次**受控故障切换，重复 **5 轮** - 使用真实多供应商切换：**OpenAI → Anthropic** - 并发设为 **100** ### 结果 - **朴素无状态 failover**：上下文保留率 **0.00%** - **带历史转发的 failover**：上下文保留率 **99.20%**，95% CI 为 **98.27%–99.63%** - 额外延迟很小：平均 **+59ms**，中位数甚至是 **-450ms**，主要受正常 API 波动影响，而不是转发逻辑本身 ### 发现的问题 作者还在测试中发现一个真实系统 bug：如果在限流的备用提供方上直接把 **100 个并发请求**一次性切过去、又不做指数退避，就会把自己打成“自我 DDoS”，最终把备用通道也锁死。 代码、benchmark harness 和方法论都已开源，论文也即将发布。