Cloudflare 数据管线优化记:省下两年半的硬件扩张

Cloudflare Blog · rss · 2026-10-13

Cloudflare 数据团队复盘了过去五年如何应对「流量指数增长 vs 硬件线性增长」:其管线承载着 20%+ 网络流量、约 20 亿事件/秒的数据交付,累计优化相当于推迟两年半的硬件扩张。

五次关键改造

2022 拆分单体 schema:把所有产品字段挤在一条流上、各团队全量摄取再过滤的模式,改为按产品拆分小消息,骨干带宽直降 35-40%,抵消约一年的压缩流量增长
2024 换压缩算法:LZ4 → zstd,分批灰度确认 CPU 无明显上升后全量,压缩流量吞吐降近 40%,同等管道多扛 1.5 倍流量
2026 春管线复制重造:放弃源端双写到两个区域的做法,改为共享摄取池(每事件广域网只传一次)+ 在管线末端尽可能晚地做复制;采样在复制之前执行,且数据集中后统一分区带来更高压缩比——净减 36 GB/s 广域流量(迁移数据集省 43 GB/s,仅增约 7 GB/s 跨数据中心复制)
2026 夏采样前移:把关键采样处理拉到管线更早阶段,少传数据但不牺牲质量
2026 秋管线内聚合

文章还介绍了整体架构:Logfwdr 采集分布式数据源 → 集中接收器 → Buftee 缓冲 → ClickHouse 等最终目的地,以及区域故障时 Logfwdr 自动把非区域流量切到存活区域的容灾设计。

「Infra」频道最新