Apache Spark 4.3 发布:实时流聚合、SCD2 自动 CDC,转季度发版
matei_zaharia · x · 2026-11-06
Databricks 宣布 Apache Spark 4.3 随 Databricks Runtime 19 发布,并开始转向季度功能发布节奏。主要更新:
- 实时模式引入状态:支持流式聚合与 transformWithState
- SCD Type 2 Auto CDC:自动保留历史的数据变更捕获管道
- Project Feather:提升小数据集上的迭代性能
- 扩展 Spark Connect 能力,让更多应用接入 Spark
- SQL 能力同步增强
「Infra」频道最新
- Writer 论文：多层索引器让 DeepSeek 稀疏注意力解码提速 — Writer · 2026-11-06
- SemiAnalysis 实证背书 Together 编译器 TKCC 可直接上生产 — simran_s_arora · 2026-11-06
- 业内点赞：自改进平台的技术权衡终于有了开源研究 — simran_s_arora · 2026-11-06
- 开源图查询引擎 GFQL 提速 40-180 倍:2M 边任务 12 秒压到 0.2 秒 — bigdata · 2026-11-06
- Lambda CEO 力挺 neocloud：算力需求将继续指数级增长 — gharik · 2026-11-06
- Ripple-65B 单卡 DGX Spark 实测：代码 20.5 tok/s,散文仅 7.6 — DZhang50 · 2026-11-06