260份文档实测:Gemini 3.8 Flash 以94.6分登顶文档抽取榜
refractr · reddit · 2026-11-19
Refractr 作者发布开源文档结构化抽取基准 DocFieldBench,数据、答案与评分器全部公开。评分规则:正确+1、漏抽0、自信填错-1,约七分之一的字段故意不在文档中(正确答案应为 null),以捕捉编造值。测试覆盖 260 份文档(发票、银行流水、SEC 文件等),同一 prompt、确定性评分。结果:Gemini 3.8 Flash 94.6 分居首,DeepSeek v4.1 Flash 93.2(最快 3.0s/份),Mistral Large 4 91.4,作者自家的 Refractr 89.4 但仅 0.7s/份,GPT-5.4 mini 86.2,Llama 3.1 8B 73.9。作者同时询问生产环境是否在自有文档上做评估、schema 约束是否真的减少了错值。
「模型」频道最新
- 四款决策模型实测对比:d1.2-ultra 准确率持平对手、成本仅 1/4.7 — JosephJacks_ · 2026-11-19
- 疑似 Gemini 4 Neon 跑分曝光:17 项评测大多领先 Claude 和 GPT — nevrekaraishwa2 · 2026-11-19
- K3.1 Pro 在 17 项基准中 14 项胜 K3,与 Opus 5.5 搭配省一半开销 — Kimi_Moonshot · 2026-11-19
- Simular box 刷 OSWorld v2 SOTA:80.7% 成功率、每任务仅 $1.79 — xwang_lk · 2026-11-19
- 北大发布人类行为预测基础模型,模拟人群反应超越前沿LLM — PekingUniversity · 2026-11-19
- 4.2 万 Star 开源项目 Heretic:不改权重训练,30 分钟消融模型拒答 — aigclink · 2026-11-19