无 Dockerfile 扩展 Python 到 3200 文件:Metaflow 实战复盘
anacondainc · x · 2026-11-04
Anaconda 工程师 Andrew Huang 撰文分享如何用 Metaflow、DuckDB 和 Parquet 把 Python 工作流扩展到 3200 个文件、上千并行任务,且不需要 Dockerfile。他以自己的 MapnStreets 应用(统计全美 232 万个街道名中出现次数,如 Main St 有 95,173 段、总长 7,437 英里)为测试案例。
「Infra」频道最新
- AMD 高管携 192GB 内存的 Strix Halo 工作站当面致敬 dhh — AnushElangovan · 2026-11-04
- 从 CPU 到 GPU 到推理服务:一个故事讲透 LLM 推理基础设施全链路 — _jaydeepkarale · 2026-11-04
- 4 张 RTX 3090 组出 FrankenSTEAM 主机,实测跑 Qwen 大模型 — Civil_Fee_7862 · 2026-11-04
- LlamaIndex 将文档解析模型 OCRia-1 在单张 B200 上提速 10 倍至 2800 tok/s — llama_index · 2026-11-04
- 编码智能体让投机解码提速超一倍,DFlash2 达 10.87× — berkeley_ai · 2026-11-04
- 企业 AI 支出一年暴涨至 1770 亿美元,Anthropic 占 API 份额 55% — deedydas · 2026-11-04