260份文档实测:Gemini 3.8 Flash 以94.6分登顶文档抽取榜

refractr · reddit · 2026-11-19

Refractr 作者发布开源文档结构化抽取基准 DocFieldBench,数据、答案与评分器全部公开。评分规则:正确+1、漏抽0、自信填错-1,约七分之一的字段故意不在文档中(正确答案应为 null),以捕捉编造值。测试覆盖 260 份文档(发票、银行流水、SEC 文件等),同一 prompt、确定性评分。结果:Gemini 3.8 Flash 94.6 分居首,DeepSeek v4.1 Flash 93.2(最快 3.0s/份),Mistral Large 4 91.4,作者自家的 Refractr 89.4 但仅 0.7s/份,GPT-5.4 mini 86.2,Llama 3.1 8B 73.9。作者同时询问生产环境是否在自有文档上做评估、schema 约束是否真的减少了错值。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →