老 infra 工程师吐槽：PB 级日志分析我们十几年前就用 Hadoop 干完了

basedjensen · x · 2026-09-28

一位 infra 工程师调侃 AI safety 圈把“系统产生 PB 级日志”当成史无前例的可观测性难题、甚至需要 agent 集群来分析——而老 infra 人早在 Hadoop 时代就每周二处理 PB 级电信话单、信令与网络日志。

他复刻了经典流程：数据进 HDFS、按天/站点分区、写 Hive 编译成庞大的 MapReduce 作业、让 YARN 分发任务、等 shuffle、发现数据倾斜（一个 reducer 拿走 40% 的 key）、修复重跑；节点挂了 Hadoop 自动换机重试。“我们的 agentic observability 平台就是 Grafana、grep、awk、一个 2012 年的 shell 脚本，和一位盯着卡在 99% 的 reducer 317 说‘这不正常’的高级工程师。”结论：PB 级日志不可怕，我们有标准。