ContinuityBench 论文:有状态 failover 可保留 99.2% 对话上下文
its_vayishu · x · 2026-09-19
arXiv 论文《ContinuityBench: A Benchmark and Systems Study of Stateful Failover in Multi-Provider LLM Routing》指出:生产环境 LLM API 的高可用不等于对话连续性——主供应商宕机或限流时,无状态 failover 保住了 uptime 却悄悄丢掉对话历史。要点:
- 提出两个新指标:连续性保留率 CPR 与连续性延迟开销 CLO
- 提出 History-Forwarding 的有状态多供应商代理架构,跨异构 LLM 端点重建对话状态
- 开源评测工具 continuity-bench,可高压并发模拟供应商故障
- 750 次 failover 实验中有状态代理 CPR 达 99.20%,无状态架构接近 0%
- 延迟分析显示必须用带 jitter 的异步指数退避,防止对限流 fallback 的重试风暴
「Infra」频道最新
- lateinteraction:没人手写 RISC 指令,编译器才是关键层 — lateinteraction · 2026-09-19
- AI Infra 峰会访谈：Penguin 与 Astera Labs 押注 CXL 内存扩展方案 — BenBajarin · 2026-09-19
- Jev 可替代本地模型做低延迟应用,开源 RLCD 版本可期 — HankYeomans · 2026-09-19
- Arduino Ventuno Q 实测：Hexagon NPU 跑端侧 VLM 推理 — HowDevelop · 2026-09-19
- GPU 涨价殃及 1080ti,本地模型推理速度实测清单流出 — HankYeomans · 2026-09-19
- Bonsai 2 27B 量化版实测:7GB 内存跑出远超同级 3D 生成质量 — Fun-Meaning-6474 · 2026-09-19