Human-Centred, Risk-Constrained Evaluation of Financial Document Recognition: Evidence, Critical Errors, and Selective Automation
Subodh Lonkar
cs.CV, cs.AI
2026-11-02
提出金融 OCR 的风险约束评测框架:关键字段错误率按单侧置信上界设一票否决门禁,零观察错误时上界仍非零;纯理论,无模型无数据。
金融文档处理里,识别质量几乎都折成 CER(字符错误率)和 WER(词错误率)。编辑距离把所有替换等价对待:正文认错一个字母,和把 1,250.00 认成 12,500.00、丢一个负号、把金额从借方列挪到贷方列,在 CER 上只差零点几个点,后果却是金额错十倍、对账全断。汇总分一平均,这类错误被大量正确的低风险字段稀释掉。
第二个问题在验收环节。企业要回答的不是「哪个模型分高」,是「输出能不能不经人工直接进账」。总分更高但极性错误率超标,和总分更低但关键字段全部达标,现有报法区分不出来。这篇把这层决策形式化:识别系统当证据恢复系统来评,分数只管排序,放行由硬门禁决定。
框架建立在几个分离上,每个对应一类现在被混在一起计费的错误:
配套还有十维质量向量(检测、文本、版面、表格、字段、事实、证据接地、校准、鲁棒性、运营)、按客户/模板/时间分组的防泄漏切分,以及分层抽样加文档级配对比较的统计协议。框架同时覆盖传统 OCR 管线和 OCR-free 文档模型,两者都要满足同一份视觉证据契约。
没有跑任何模型,没有 benchmark 分数,结果是四个形式化命题加一个算例:
| 命题 | 结论 |
| 补偿性掩盖 | 权重全正的加权平均分,总能构造出 A 总分高于 B、但 A 在某关键维度为 0 的情形;总分证明不了安全 |
| 零错误不等于零风险 | n 个独立关键实例零错误时,单侧上界为 1−α^(1/n);压到 η 以下需 n ≥ log α / log(1−η) |
| 送审条件 | 送人工优于直接放行,当且仅当 q < 1 − rH − c/L(q 正确概率,L 单次损失,c 审核成本,rH 审后残余错误率) |
| 覆盖单调性 | 置信阈值上调,自动接受覆盖率只降不升 |
算例:95% 单侧上界要压到 10⁻³ 以下,零错误设计至少需约 2,995 个独立关键实例;粗略版是经典「3/n 规则」(n 个样本零错误,95% 上界约 3/n)。文中的路由演示(总评更高的系统因极性门禁超标被拦、总评较低的系统过关)是构造的示意,不是实测。论文未给出与 FinCriticalED 等现有基准的任何经验对照,作者明确这是理论与方法论贡献。
对做智能文档处理(IDP)、采购金融 OCR、写文档模型验收方案的人,这接近一份现成验收规范:定义关键字段和分级,按 Clopper–Pearson 上界设门禁,用覆盖率-产能约束定送审阈值,三段都能搬进采购合同或模型卡。
「零错误样本量」这一条单独就实用。要声称关键字段错误率低于 0.1%,至少约 3,000 个有代表性的关键样本且零错误;真实数据有聚类(同一报表的多页、同一供应商的模板),独立假设不成立时还要更多。多数产品宣传里的「99.9% 准确率」在这个镜头下撑不住。
说清楚:这不是模型改进,没有新 SOTA。它改的是「合格怎么算」,受益方是评测与风控角色,不是刷榜的人。
作者自列八条局限,要害几条:标注真值会错(手写模糊、扫描差、会计口径不一),需要显式含糊状态和仲裁;权重与分级是机构特定政策,无普适方案;算术校验在特殊会计处理下会误报;校准随分布漂移退化;OCR 指标层替代不了下游合规与授权控制。最重的一条:框架未经经验验证,无数据集、无经标注者检验的手册、无软件实现、无人审绩效数据,路由示例是合成的。
读下来再补两点。证据多边形、三层表示、关键字段双标加仲裁,标注成本可能高到多数团队用不起,论文自己也把标注成本与标注者一致性列为待测问题。四个命题数学上初等(命题 2 就是 Clopper–Pearson 区间的直接改写),价值在把统计事实装进验收流程,不在定理深度。独立作者、无资助、无实验,能否落地要等后续工作。