一年之变:AI 让 Spark 调参专家失业,GTM 工程师直接搭数据管道

Zachly · x · 2026-09-13

转发者观察：一年前建 Spark 作业需要专门雇 Databricks 专家，现在 GTM 工程师无需了解内部机制就能用 AI 搭建数据管道，是大规模数据处理的重大解锁。

原帖补充：Databricks 把 Spark 变得「傻瓜化」，传统调参旋钮几乎全部消失，只剩 spark.sql.shuffle.partitions（用 repartition/coalesce 调整数据分块数）；广播连接阈值旋钮的移出尤其令人意外。作者担忧：当数据工程被「自动魔法化」，有经验的从业者还能去哪里学习底层复杂性？