Polars 2.0 大胜 DuckDB 2.0：286GB 过滤实测附完整账单
vanstriendaniel · x · 2026-10-22
作者在 Hugging Face Jobs 上用默认参数实测 Polars 2.0 与 DuckDB 2.0 过滤 286 GB（9700 万行）FineWeb-Edu 数据集的性能，脚本与任务日志全部公开。
结果：
- 32 核 / 256 GB（$1.90/h）：Polars 352–447s（约 $0.19–0.24），DuckDB 564–600s（约 $0.30–0.32），Polars 快约 1.4 倍；
- 8 核 / 32 GB（$0.03/h）：DuckDB 1904s 仅花 $0.016；Polars 直接 OOM 被杀，设置 POLARSOOCMEMORYBUDGETFRACTION=0.5 仍 OOM。
结论：大内存机器上 Polars 2.0 更快更省；低内存场景 DuckDB 的乱序/外存处理更稳。两条查询输出结果完全一致（174,063 行），对比可信。
所属事件:286GB 数据实测：Polars 2.0 过滤速度胜过 DuckDB 2.0(2 条相关)→
「编程与Agent」频道最新
- Anthropic 先发 Claude Duet 代理后补安全方案,遭批本末倒置 — alex_verem · 2026-10-22
- 多智能体框架 senpai 新版:worker 可互聊,不再只靠编排器传话 — _ScottCondron · 2026-10-22
- ThursdAI 直播前瞻：各大实验室争做个人 Agent 谁来把关安全？ — altryne · 2026-10-22
- 工程师感叹：现有 AI Agent 全是被动响应，「主动式」无人做 — majidmanzarpour · 2026-10-22
- 一句话让 Grok Bot 自动建好 Starship 飞行追踪仪表盘 — XFreeze · 2026-10-22
- Matt Pocock 分享 /grill-me 提示词：让 AI 逐题拷问需求 — mattpocockuk · 2026-10-22