SAGG 用级联故障转移把 Gonka 不稳定节点包装成 99% 成功率推理 API
OlegDoDo · reddit · 2026-10-02
作者分享 SAGG 项目:针对 Gonka 去中心化推理网络中各 broker 稳定性参差的问题,SAGG 同时持有多个 broker 并自动路由到健康节点,对外暴露统一的可靠 API。
关键数据(真实生产流量实测):
- 9 月 18 日(每线 1000 请求):Standard 线 100% 成功,Super Deal 线 98.9%
- 9 月 30 日复测(每线 200 请求,更长上下文+代码生成):99.5% / 99.0%
- TTFT p50 约 190-490ms,重负载 p95 在 15s 以内
技术难点在流式响应:一旦开始向客户端输出内容,无法静默切换 broker。完整方法、原始数据与复现脚本已开源(GitHub: privatedeskai/sagg-benchmark-data)。
「Infra」频道最新
- 排查 Flink 等分布式系统性能问题,Flamegraph 是最有效手段 — DanielLockyer · 2026-10-03
- 工程师整理推测解码手册:α=0.8 也可能只有 1.87× 加速 — techNmak · 2026-10-03
- NVIDIA 讲解 CUDA 13.4 新特性，附 Rubin sm_107 开发预览 — NVIDIA Developer · 2026-10-03
- 双卡跑 262K 上下文:三个补丁把 Strata 推理提速至 130 tok/s — Fz1zz · 2026-10-03
- 自托管 AI 并不省钱,但这位开发者依然坚持自己搭 — basnijholt · 2026-10-03
- Terraform 补齐 Foundry 托管 agent 缺口:azapi_data_plane_resource — WirelessLife · 2026-10-03