70 步 RL 让 650M 小模型冲上 ParseBench 第三,OCR 能力实则未变

VikParuchuri · x · 2026-10-13

Datalab 用一个实验直接演示 LlamaIndex ParseBench 可被「对齐刷分」:仅做 70 步 RL(外加推理侧小修复,未接触 ParseBench 文档),其 650M 参数的 Surya 650M+RL 就从第 23 名跳到第 3 名(83.15),压过 Anthropic Opus 5.5 与 Google Gemini 3.8 Flash。

但拆解数据揭示真相:RL 只把格式对齐提升了 +11,实际读取能力仅 +0.4——模型并没有变得比原版 Surya OCR 2 更擅长 OCR,只是输出格式更符合该基准的偏好。这印证了其前一条帖子的判断:ParseBench 度量的是格式契合度而非 OCR 质量,OmniParseBench 的 yes/no 单元测试则更难被这类操作刷分。模型已开源放出。