Python 3.14t 无 GIL 实测:fastsimd 解析 JSON 达 65.7 GB/s
lemire · x · 2026-10-12
Daniel Lemire 发文展示 Python 3.14 自由线程版(python3.14t,无 GIL)结合 SIMD JSON 库的解析性能:
- 测试任务:解析 GH Archive 的 8 小时 GitHub 事件数据(解压后 7.6 GB、220 万条 NDJSON),统计事件类型与各语言新增 PR 数。
- 单核下 fastsimd 的 mapmany(lazy views)达 2.13 GB/s,约为标准库 (0.18 GB/s)的 12 倍;msgspec 1.29 GB/s 居次。
- 64 核单进程开 64 线程时,lazy views 版本达 65.7 GB/s,普通 mapmany 为 29.8 GB/s,msgspec 24.6 GB/s,标准库仅 3.17 GB/s。
结论:过去受 GIL 限制的 Python 并行解析,如今配合无 GIL 解释器与懒加载视图,可达每秒数十 GB 的吞吐,类似「每秒数 GB」的 JSON 处理在 Python 中已可行。
「研究」频道最新
- 用LLM预测编辑序列优化分子可合成性，Nature MI新论文 — lulzxdxdxd · 2026-10-12
- IROS 2026 观察:灵巧手与触觉感知成机器人研究主战场 — chris_j_paxton · 2026-10-12
- Decision Model 入驻 Papers with Code:输出结构化决策的新方法 — NielsRogge · 2026-10-12
- LightOn 2B 小模型做代码搜索 agent,战绩比肩 27B 开源模型 — IgorCarron · 2026-10-12
- John Langford 公开 COLM 演讲幻灯片：如何以 AI 速度做研究 — JohnCLangford · 2026-10-12
- 微软 MiniCorp:用智能体公司模拟器生成企业训练数据 — dair_ai · 2026-10-12