金融文档识别评测新框架:以关键字段零容忍门槛替代总体错误率
Subodh Lonkar · hf · 2026-11-09
这篇论文提出一个以人为中心、风险约束的金融文档识别评测框架,指出字符/词错误率无法反映系统是否保住了人们真正据以决策的金融事实。
核心内容
- 定义与可见原文区域绑定的「类型化金融事实」,区分逐字转录、确定性规范化与业务解读三个层次。
- 分层质量模型覆盖文本、定位、版面、表格、字段、事实正确性、证据溯源、不确定性、鲁棒性与运营表现。
- 采用非补偿性验收门槛:对关键字段(金额、标识符、正负号、期间、实体关联)错误使用单侧不确定性界,防止总体高分掩盖关键失败。
- 将选择性自动化建模为约束路由问题,兼顾残余风险、人工审核容量与审核成本,并给出把不确定案例路由给人工的损失敏感决策规则。
- 还规定了标注与裁定流程、防泄漏基准划分、统计估计量、子群分析与可复现性卡片。
定位:纯理论与方法学贡献,未声称新模型、数据集或实证性能结果。
「研究」频道最新
- Toby Ord 补充:时滞不归零时增长率仍可在爆发前冲得很高 — tobyordoxford · 2026-11-10
- Qdrant 在 CIKM Rome 分享生产级向量索引原生相关性反馈实践 — qdrant_engine · 2026-11-10
- Meta 用 LLM 生成"必失败"测试,隐私事故降 20% — Meta_Engineers · 2026-11-10
- Toby Ord 用时滞微分方程论证奇点无法在有限时间爆发 — tobyordoxford · 2026-11-10
- 康奈尔教授招收 2027 秋博士,方向概率机器学习与 AI for Science — dianarycai · 2026-11-10
- int8 量化+fp16 重排:HF 作者演示 140 万向量 2ms 检索 — tomaarsen · 2026-11-10