一块 GPU 花 $1.47 重 OCR 14483 页文档，吞吐 8.9 页/秒

vanstriendaniel · x · 2026-11-02

开发者 vanstriendaniel 用自研库 Saturate 重做了 14,483 页化石燃料行业文档的 OCR：一块 GPU、总成本 $1.47，经 Hugging Face Jobs 跑起来后吞吐 8.9 页/秒。并发没有手动调优，Saturate 自适应收敛到 512。

Saturate 是批量推理库：数据集或存储桶的每一行/每个文件都过一遍任意 OpenAI 兼容端点（vLLM、SGLang Job、TEI 等），输出可恢复的 parquet 数据集而非一堆响应，并带拥塞感知并发控制。配图对比显示：旧 OCR 把一页文字识别成乱码，Xiaomi-OCR-0 基本准确。项目已在 GitHub 开源（Apache-2.0）。