工程师称自建数据平台已服务 4 亿用户的内部场景

teodorio · x · 2026-07-25

一位工程师回顾自己从零搭建数据平台的经历：最初只是零散的 Airflow 查询、Notebook 和海量第三方分析数据，如今已经演进成支撑 4 亿用户、被内部十几到几十个团队使用的平台。

他列出的能力包括：高度鲁棒的会话内身份解析、自建数据源、约 500 个 dbt 模型、metric store、事件与指标定义 API、CI/CD、QA 环境、基于 agent 的回填，以及自动化数据质量 agent。作者把这视作自己的“个人纪念碑”。