论文+开源基准：LLM 故障转移保住对话上下文，连续率 99.2%
its_vayishu · x · 2026-10-15
arXiv 论文 ContinuityBench（Pandey & Singh）研究多供应商 LLM 路由中的「有状态故障转移」：高可用性不等于对话连续性——无状态故障转移虽维持了在线率，却会静默丢弃对话历史，严重破坏体验。
- 提出两个新指标：连续性保持率（CPR）与连续性延迟开销（CLO）。
- 方案是带「历史转发」（History-Forwarding）的有状态多供应商代理架构，在异构 LLM 端点间重建对话状态。
- 开源评测工具 continuity-bench，在高并发故障场景下压测上下文保持。
- 750 次故障转移实验中，有状态代理实现 99.20% CPR（95% CI 98.27–99.63%），而无状态架构接近 0%。
- 还刻画了故障转移延迟分布，指出异步指数退避的必要性。
Metriqual 将该架构落地为产品，提供模型路由、故障转移与可观测性。
「Infra」频道最新
- 彭博数据推算：Anthropic 约70-75%算力用于研发而非服务 — Jsevillamol · 2026-10-15
- 首届 PyTorch 马德里 meetup 聚焦开源推理栈：vLLM、llm-d 与 K8s GPU 编排 — SergioPaniego · 2026-10-15
- 清华提出 Latent Compaction:KV 缓存压缩 32 倍仍保 96.7% 检索精度 — Yingfa Chen · 2026-10-15
- 奥地利航空航班首现 Starlink 机上 WiFi:实测下行 157 Mbps — mitsuhiko · 2026-10-15
- 银行开始转售刚承销的 AI 数据中心债务，风险正向市场转移 — jazir55 · 2026-10-15
- Claude 拒改的 GPU 内核，转手丢给 DeepSeek 照做 — mike64_t · 2026-10-15