Polars 2.0 正式发布:破坏性 SQL 变更与多项性能优化
KhuyenTran16 · x · 2026-10-28
pola-rs 发布 Polars 2.0.0 正式版,Khuyen Tran 同时科普了其内存溢写特性:排序、窗口函数、复杂表达式等内存密集型操作在占用约 80% 可用 RAM 时自动溢写到磁盘(join/group-by 暂不支持)。
主要更新内容:
- 破坏性变更:SQL 窗口函数改为在聚合后的行上运行,QUALIFY 在投影前求值;SQL 数字字面量精确为 Decimal 类型,%/DIV 结果截断;Parquet ENUM 类型读为 pl.String;弃用 cut/qcut。
- 性能优化:修复 join 采样导致的过早结束、远程 IPC 扫描批量抓取、Parquet 预读延迟到解码阶段、流式窗口节点内求值标量窗口、filter 下推到 scanlance、乱序解码 IPC 扫描等多项改进。
对数据工程场景而言,80% RAM 阈值的自动磁盘溢写让大数据集排序等查询不再崩溃。
所属事件:Polars 2.0 发布:内存溢写磁盘与多项性能优化(2 条相关)→
「编程与Agent」频道最新
- 融资 870 万美元的 Jev 是炒作还是突破,深度拆解来了 — Kyrannio · 2026-10-28
- Warp 单 PR 成本从 80 美元降到 20 美元,吞吐量提升 40% — vikvang1 · 2026-10-28
- 2026 Python 类型调查:ty 使用率从 16% 飙至 37%,逼近 Mypy — charliermarsh · 2026-10-28
- 数据降温 AI 焦虑:最强 agent 仅完成 30.3% 任务 — AIFlow_ML · 2026-10-28
- 一个提示词让 Grok 机器人选项变成点按式交互 — majidmanzarpour · 2026-10-28
- 一键式工程开源工厂 SuperPlane 走红 GitHub,斩获 8.3k Star — Arindam_1729 · 2026-10-28