Cloudflare 数据管线每秒处理 20 亿事件,优化省下两年半硬件扩张
irvinebroque · x · 2026-10-14
- Cloudflare 数据团队发布长文,披露其数据管线已达到 每秒约 20 亿事件 的处理量(覆盖 20%+ 的 Web 流量,支撑 Logs、SQL API、可观测性与内部分析)。
- 核心矛盾:流量呈指数增长,硬件只能线性增长。过去五年团队的系列优化累计相当于推迟了两年半的硬件扩张,按 ClickHouse 平台计算约等于节省 2.5 年的硬件投入。
- 关键演进节点:
- 2022:拆分单体数据 schema;
- 2024:调整压缩策略;
- 2026 春:重构管线复制架构;
- 2026 夏:去中心化采样;
- 2026 秋:在管线内引入聚合计算。
- 文章详细介绍了从 Logfwdr 采集、Buftee 缓冲到 ClickHouse 落地的整体架构。
「Infra」频道最新
- Eaton 800V 直流电源机架亮相 OCP 峰会，围观者众 — firstadopter · 2026-10-14
- 混合精度+混合加速器采样器跑 RL，配合 off-policy 校正稳定收敛且更省成本 — xiuyu_l · 2026-10-14
- Vercel 构建提速：文件准备平均快 20%，LFS 项目快 54% — cramforce · 2026-10-14
- IBM 联合 Fugaku 完成迄今最大 12635 原子量子化学模拟 — aronchick · 2026-10-14
- AI 算力公司 Fluidstack 大举扩张，开放 200+ 职位瞄准数 GW 级规模 — MxMnr · 2026-10-14
- 实测揭示：同一模型不同供应商，每任务成本差距可达 9 倍 — ArtificialAnlys · 2026-10-14