无状态故障转移丢失近 100% 上下文，ContinuityBench 提出 99.2% 保持率方案
its_vayishu · x · 2026-09-15
作者回应「ContinuityBench 只是 token 路由的 API 包装」的质疑，澄清两者解决的是不同层面的问题：
- Token 路由回答「该用哪个模型处理请求」（成本/延迟/质量），是活跃研究方向。
- ContinuityBench 关注另一个被忽视的故障模式：主服务商宕机切换到备用模型时，无状态 failover 不会收到之前的对话历史——全程 HTTP 200、无崩溃，但模型悄悄「忘光」了上下文。
团队测量了 750 次 failover 事件：朴素无状态故障转移的上下文保持率接近 0%，而其采用 History Forwarding 在故障点重建状态的有状态代理达到 99.20% CPR（95% CI: 98.27–99.63%）。论文与开放评测基准已发布。
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02