生产事故排查六步法：从事故分诊到复盘防再犯的完整 Playbook

_jaydeepkarale · x · 2026-11-02

工程师 jaydeepkarale 发布「生产调试 Playbook」系列第 6 篇（完结篇），主题是线上事故的实战调查流程，强调结构化流程、冷静头脑和无追责文化比单纯技术能力更关键。

六步流程：

事故分诊：确认坏的是什么、波及哪些服务与用户旅程、影响面多大，按业务影响而非告警数量定严重级。
收集证据：关联 Metrics（Prometheus/Grafana）、Logs（Splunk/Loki）、Traces（OpenTelemetry）、K8s 事件、依赖与近期变更（部署、配置、feature flag）。
时间线与影响范围：按部署→延迟飙升→告警触发→事故宣布重建时间线。
定位根因：从代码/发布、数据层（慢查询、连接池耗尽）、依赖（外部 API、DNS）、基础设施（资源饱和、OOM）四条线隔离并确认真因。
缓解与修复：先降影响（回滚、feature flag、临时绕过），再修根因，在生产验证并持续监控，稳定后关单。
学习与预防：写清晰的事故报告，补测试与告警，通过金丝雀发布、SLO 等护栏堵流程漏洞。

另附完整的「Detect → Triage → Investigate → Mitigate → Resolve → Learn」工作流图。引用的同作者第 5 篇则专门讲网络与依赖故障（p95 上升、5xx、超时但 CPU/内存正常时的排查思路）。

「编程与Agent」频道最新