无状态故障转移丢失近 100% 上下文，ContinuityBench 提出 99.2% 保持率方案
its_vayishu · x · 2026-09-15
作者回应「ContinuityBench 只是 token 路由的 API 包装」的质疑，澄清两者解决的是不同层面的问题：
- Token 路由回答「该用哪个模型处理请求」（成本/延迟/质量），是活跃研究方向。
- ContinuityBench 关注另一个被忽视的故障模式：主服务商宕机切换到备用模型时，无状态 failover 不会收到之前的对话历史——全程 HTTP 200、无崩溃，但模型悄悄「忘光」了上下文。
团队测量了 750 次 failover 事件：朴素无状态故障转移的上下文保持率接近 0%，而其采用 History Forwarding 在故障点重建状态的有状态代理达到 99.20% CPR（95% CI: 98.27–99.63%）。论文与开放评测基准已发布。
「Infra」频道最新
- 单卡 5090 跑 Qwen3.8-27B：SGLang 全参数调优只换来 82k 上下文 — ni1by2thetrue · 2026-09-15
- 把 4 块 MCU 开发板搬上网：AI 写完固件即时上真芯片测试 — SelfishlyWandering · 2026-09-15
- Grouped Value Attention 分组存值按需重建 Key,压缩 KV Cache — Vishesh Tripathi · 2026-09-15
- jinfer 开源:纯 JVM 实现 AI 推理引擎,CPU 性能比肩 llama.cpp — mukel90 · 2026-09-15
- Wan 2.2 显存实测:砍帧数不降 OOM,降分辨率一次省 10GB — Realistic-Fennel-190 · 2026-09-15
- 单周 500 万亿 token 将至，引用图示 LLM 用量持续飙升 — gajesh · 2026-09-15