Columnar 互动长文梳理数据栈五十年:从单体到存算分离三层架构
craigmullins · x · 2026-10-13
Columnar(Ian Cook)发布交互式历史项目《Data: The First 50 Years》,梳理 1976–2026 年分析型数据栈的演变,把系统拆为三层:access(应用接入)、compute(查询引擎)、storage(数据持久化),用宽度展示各年分析负载在各技术间的分配估计。
脉络要点:
- 早期平面文件与层次数据库的报告系统,逐渐被基于 Codd 关系模型的 SQL 关系数据库取代
- 1980 年代数据库百花齐放,1990 年代 ODBC/JDBC 等接口标准化解决可移植性
- 2000 年前后 Hadoop 把分析搬到共享文件,2010 年代 S3 等对象存储推动存算分离
- 2010 年代中期起云托管数仓兴起,随后成本与锁定担忧催生 lakehouse 与嵌入式引擎,如今 S3 Tables、Snowflake/Databricks 内置托管开放表格式延续这条线
原文可交互播放时间线,观察一层的变化如何给其他层施压。
「Infra」频道最新
- Cloudflare Agents SDK 推出持久化浏览器工具,会话跨轮次保留 — irvinebroque · 2026-10-14
- Ed Zitron 长文:AI 泡沫建立在拍脑袋的「年化营收」数字上 — GaryMarcus · 2026-10-14
- 曝博通early谈判为 OpenAI 筹逾500亿美元融资买定制芯片 — Beth_Kindig · 2026-10-14
- Ben Bajarin:埃米时代预测算力未来,看 WFE 设备路线图比芯片路线图更准 — BenBajarin · 2026-10-14
- AWS 原生搬来 Vercel Fluid Compute,Lambda 推出 Web Functions — cramforce · 2026-10-14
- Anthropic 日合并代码从 2500 暴增至 3 万,自研版本控制系统 Scion 替代 git — AnthropicAI · 2026-10-14