多模型切换会丢上下文吗
its_vayishu · x · 2026-07-17
作者发布了 ContinuityBench，用于衡量多供应商 LLM failover 时，备用模型到底能否拿到完整对话上下文，而不只是最后一句话。
核心实验
- 共做了 750 次受控故障切换，重复 5 轮
- 使用真实多供应商切换：OpenAI → Anthropic
- 并发设为 100
结果
- 朴素无状态 failover：上下文保留率 0.00%
- 带历史转发的 failover：上下文保留率 99.20%，95% CI 为 98.27%–99.63%
- 额外延迟很小：平均 +59ms，中位数甚至是 -450ms，主要受正常 API 波动影响，而不是转发逻辑本身
发现的问题
作者还在测试中发现一个真实系统 bug：如果在限流的备用提供方上直接把 100 个并发请求一次性切过去、又不做指数退避，就会把自己打成“自我 DDoS”，最终把备用通道也锁死。
代码、benchmark harness 和方法论都已开源，论文也即将发布。
所属事件:多模型故障切换需显式传递历史上下文(2 条相关)→
「Infra」频道最新
- AI 工程师必懂的 12 种 KV Cache 压缩技术一文讲透 — blaizedsouza · 2026-09-11
- 影子算力市场走向台前,Meta 对外出售过剩 GPU 算力成标志性信号 — DavidLinthicum · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11