286GB 数据过滤实测：Polars 快于 DuckDB，但小内存下直接 OOM
vanstriendaniel · x · 2026-10-22
作者在 Hugging Face Jobs 上对比本月双双发布 2.0 的 DuckDB 与 Polars，用 286GB FineWeb-Edu 按教育分数与长度做过滤：
- 32 核 / 256GB：Polars 352–447 秒，DuckDB 564–600 秒
- 8 核 / 32GB：DuckDB 1,904 秒（约 2 美分），Polars 内存不足直接失败
结论：大内存下 Polars 更快，小内存下 DuckDB 更稳且便宜。
所属事件:286GB 数据实测：Polars 2.0 过滤速度胜过 DuckDB 2.0(2 条相关)→
「Infra」频道最新
- Google Cloud 官宣引入 OpenAI 模型，开发者评论：对 OpenAI 是巨大营收增量 — verrsane · 2026-10-22
- 类脑半导体芯片瞄准更聪明、更节能的数据中心 — striketheviol · 2026-10-22
- 同一稀疏分页 GQA 解码核用六种写法：CUDA 比 PyTorch 快 14 倍 — Daemontatox · 2026-10-22
- MoE 之后本地 dense 模型再无架构级提速？社区盼 Qwen4-27B 带突破 — Express_Quail_1493 · 2026-10-22
- 德银部署 Farsight 私有化方案，金融业开源模型落地转向本地运行 — huggingface · 2026-10-22
- Gradio 把 FLUX.3 Klein 9B 提示词扩展器蒸馏到 0.8B,CPU 可跑 — Gradio · 2026-10-22