探针全绿但用户已报错:LLM 网关开发者求经,如何提前发现供应商宕机
Suresh-R · reddit · 2026-11-04
一位 LLM 网关开发者分享了自己两次漏报供应商故障的经历，并向社区征求告警策略经验。
- 问题根源：合成探针只走固定的单一请求路径，而真实故障发生在另一种请求形态上，导致探针显示健康时用户已在报错。
- 现行方案：改为分层监控——对每个供应商的真实流量做错误率和延迟分位数告警，探针仅作最后兜底信号。
- 未解决的难点是阈值权衡：首个失败请求就告警会误报频发；等比率窗口确认时故障已持续数分钟。
- 作者向社区提问：大家如何画这条线——基于探针、基于流量，还是依赖供应商状态页？能接受几分钟的真实故障才触发告警？
对运营 LLM 网关或多供应商路由服务的团队有直接参考价值。
「Infra」频道最新
- 重度用户年耗 120 亿 token,排查发现 96% 竟是缓存读取 — peakpirate007 · 2026-11-04
- 爆料式预言:两年内算力短缺将比 GPU 更严重,推理成本向人力看齐 — StewartalsopIII · 2026-11-04
- Sam Altman 改名「Ram Altman」回应内存争议:希望电脑内存越多越好 — The Verge AI · 2026-11-04
- Anduril 帕尔默·拉奇提无水自供电数据中心三原则 — NinaDSchick · 2026-11-04
- Sipeed 口袋 Linux AI 主机：256 TOPS NPU、最高 128GB 内存 — DeliciousBelt9520 · 2026-11-04
- xgboost-metal 开源：XGBoost 移植到 Metal，Mac 可用 Apple GPU 训练梯度提升 — HankYeomans · 2026-11-04