WeVisDoc: From Coverage to Capability for Robust End-to-End Document Parsing
Hao Yu, Kang Liu, Linnan Zhao, Jiabo Zhan, Chong Sun, Chen Li, Jing Lyu
cs.CV
2026-09-17
微信视觉组用两阶段数据流程训端到端文档解析：先约4000万条铺覆盖，再按探针残差补约500万条。WeVisDoc-4B在OmniDocBench v1.6得95.38，三个退化轨平均75.54。
文档解析要把页面变成带结构的文本：Markdown 正文、LaTeX 公式、HTML 表格、正确阅读顺序。语料偏向常见版式和干净电子页，光把数据堆大，说不清解析器还缺哪一类支持。多采一些样本和「对已经有的模式加曝光」是两件事；残差高也可能是标注错、图不可读、解码失败，不该一律当成缺数据。
微信视觉组的 WeVisDoc 把监督预算按目标 token 计，而不是按条数（长页面和短公式分量差很多）。同一 backbone 上先铺覆盖，再按残差决定是补新数据还是加重放。
实例从 Qwen3-VL-Instruct 的 2B/4B 出发，序列化格式和自回归目标固定。Stage I 大约 4000 万条：公开 OCR 集、内部生产件、定向抓取、可执行页面程序合成。页面 / 纯文本块 / 混合区域 / 孤立表 / 孤立公式大约 40% / 25% / 25% / 10%。来源 token 份额用指数 ρ 压住大库。缺标注时三个专家解析器（MinerU2.5-Pro、PaddleOCR-VL-1.6、dots.mocr）投票，一致才进干净池，不一致进人工或 Stage II 候选。外观增强按采集路径做扫描、拍照、屏幕翻拍，内容不可读的变体重标或丢掉。
Stage II 大约 500 万条。冻结的 Stage I 模型在与训练、挖硬例、最终评测都断开的探针上测残差，按 SigLIP2 视觉嵌入加结构元数据聚成视觉–结构簇。高误差样本先审计标注和可读性，再决定检索真页、定向合成，或只增加曝光。Stage II 冻结视觉编码器，只更新语言模型，token 预算单列。
OmniDocBench v1.6（1651 页）上，4B Overall 95.38，2B 95.06。端到端组里超过 HunyuanOCR-1.5 的 94.74 和 Unlimited-OCR 的 93.92。流水线系统仍然更高：PaddleOCR-VL-1.6 为 96.33，MinerU2.5-Pro 为 95.75。论文的「四个设置全第一」指的是对比过的端到端解析器，不是全部解析器。
PureDocBench 三条对齐轨道（干净 / 数字退化 / 真实退化）上，4B 的 Avg3 为 75.54，Clean 79.81，Digital 77.74，Real 69.08。相对 Stage I，4B 在 OmniDocBench +1.16，Clean 只 +0.49，Digital +2.55，Real +4.03。2B 同样是退化轨增益更大。容量从 2B 到 4B，Real Degraded 多 3.48 点，干净页只多 0.45：多参数主要花在采集位移上。
| 模型 | OmniDocBench Overall | PureDocBench Avg3 | Real Degraded |
| WeVisDoc-4B Stage II | 95.38 | 75.54 | 69.08 |
| WeVisDoc-4B Stage I | 94.22 | 73.19 | 65.05 |
| WeVisDoc-2B Stage II | 95.06 | 73.86 | 65.60 |
| HunyuanOCR-1.5 | 94.74 | 68.79 | 未报 |
| PaddleOCR-VL-1.6（流水线） | 96.33 | 未报 | 未报 |
（Hunyuan 的 Avg3 来自 PureDocBench 表；流水线未在该表以同口径全部列出。）
定性上 Stage II 修的是漏表、栏序读反、字段和值拆开、公式序列化丢失、串到另一篇中文文档。真实退化页上，结构回来了，局部认错字还在。
对做文档 VLM 的人，这是可执行的数据作业系统：覆盖和能力补洞分开记账，监督按 token 而不是按张。2B 已经摸到端到端前沿，4B 把真实退化再抬一截，说明小模型的剩余空间很大一块在混合物，不在再加一个解码器。和流水线 SOTA 的差距也写明了：模块化布局+区域识别在干净页上仍更准。
Stage II 把继续训练、硬例、定向合成和重放捆在一起，表 4 不是组件消融，残差分配的单独贡献没有拆开。探针、聚类、评测器都会左右补哪些数据。手写、历史扫描、严重损毁和更多语种仍测得不够。合成退化再真，也替代不了真实采集。高风险场景仍要人工核对。OmniDocBench 用标注真值，v1.5 曾被查出大量块级错误，v1.6 分数绑定冻结评测器。