Cloudflare Logpush Transformers：导出前用 SQL 过滤与改写日志

Cloudflare Blog · rss · 2026-10-12

Cloudflare 推出 Transformers 正式可用（GA），让 Logpush 用户在日志导出前直接完成过滤、脱敏与结构改写，无需再自建独立处理服务。

功能要点：

每个 Transformer 是针对特定 Logpush 数据集的 SQL 查询：WHERE 过滤记录（如剔除健康检查流量），SELECT 重命名/嵌套/删除字段、脱敏 IP、补静态字段，输出 NDJSON
可在 Transformer Studio（控制台）或 API 创建、预览、管理，每次更新生成新版本
已在所有自助套餐开放 Logpush

工程实现（长文核心）：

Logpush 管线每秒投递超 1.1 亿条记录，运行在数百个 Kubernetes Pod 上，依赖自研消息总线 Buftee/Bufstream
早期原型用 Cloudflare Workers 跑 WebAssembly Transformer，但会在导出热路径引入网络调用，导致超时重试、降低吞吐，遂改为进程内执行
选型 Apache DataFusion（Rust + Arrow）：基准测试中对 5000 行批次执行单个 Transformer 约 3ms，约 160 万行/秒
Go 服务与 Rust 引擎之间通过 Arrow IPC 经 cgo/C ABI 传列式批次，避免逐行 JSON 解析；明确所有权边界（Rust 用完即还、Go 拷贝后显式释放）规避跨运行时内存 bug
schema 来自数据集规范而非推断，保证查询校验稳定

「Infra」频道最新