Archil 称自托管 Spark 比 Databricks 快 2-5 倍且成本减半
massimosgrelli · x · 2026-11-10
jhleath 连发推宣传 Archil：先用开源 ClickHouse 搭 S3 后端省 50% 成本，这次又宣称在其存储上自托管 Apache Spark，比 Databricks serverless 快 2-5 倍、成本不到一半（"3x less and 3x faster"）。
- 论点：商业开源模式的本质是厂商开源一个劣化版本（如 ClickHouse OSS 依赖本地盘、不兼容 S3）来劝退自托管，因为自建数据基础设施太难
- Archil 的解法：把 S3 当本地盘用，提供跨节点的高性能共享存储，让自托管变得简单
- Spark 指南：4 个 32 vCPU sandbox 组成按需启停的集群（约 1 秒冷启动，脚本启动后 5 秒就绪），一个盘直接读 S3 上的 Parquet，另一个盘写 Delta Lake 表，作业整体约 30 秒
- 属于带营销色彩的基础设施方案推广，成本数据为厂商自称
「Infra」频道最新
- Seroter 每日阅读清单：新 TPU、Claude 新模型降价 20% 与产品经理的未来 — rseroter · 2026-11-10
- 美能源部投 1150 万美元建电网基础模型，目标提速千倍 — ingliguori · 2026-11-10
- NVIDIA 开源 Molt RL 框架：一个 Python 文件即可接入环境与奖励 — algo_diver · 2026-11-10
- fal 与微软合作，Kling/LTX/MiniMax 视频模型入驻 Azure Foundry — gorkem · 2026-11-10
- Uno 论文：AR 权重校验扩散草稿，实现无损加速 LLM 推理 — LucaAmb · 2026-11-10
- 挪威暂停新数据中心电力预留申请,最长或至 2027 年 8 月 — Polymarket · 2026-11-10