实测 Jev 发票分类：50/50 全对，成本仅 Claude Opus 约 1/110
PawelHuryn · x · 2026-09-19
开发者在 Jev 相关项目三天从 46 个涨到 160 个的背景下，亲手复测了厂商展示的发票分类任务，用 50 份、6 类、跨 10 种语言、带 OCR 错误和误导性线索（如标着 PROFORMA 却已发货的账单）的困难数据集对比 6 个模型：
- 成绩与成本（正确数/50，每千次决策成本）：Jev 50 对 / $0.025；GPT-OSS 20B 48 / $0.030；Ministral 8B 48 / $0.031；Claude Haiku 4.5 50 / $0.39；Gemini Flash 49 / $1.03；Claude Opus 5 49 / $2.83。
- 宣传中的「444× 便宜」是与高价模型对比的结果；Jev 对比可本地部署的 Ministral 8B 只便宜约 20%，单次慢约 90ms，但批量模式下 32 题耗时约等于 1 题。基线选择和请求模式比头条倍数更重要。
- 置信度筛选有效：去掉定义只留类名，Jev 46/49 对，所有错误置信度低于 0.80，正确答案平均 0.97，0.80 阈值在本数据集上可拦下全部错误。
- 但置信度有盲区：24 条含隐性业务规则的客服消息，规则写进 prompt 时 24/24 全对，不写则仅 5/24，且 19 个错误中 15 个置信度超过 0.90——「确定且错误」。规则必须随请求提供，用标注样本替代规则效果更差（Jev 13/24，Ministral 8B 18/24）。
- 落地建议：记录每次输入/决策/置信度、设人工复核阈值、建立人工纠错反馈闭环。
所属事件:开发者实测 Jev 分类模型：50 单全对，成本极低(4 条相关)→
「模型」频道最新
- GLM-5.3 去审查版 3 分 41 秒完成红队攻击,原版直接拒绝 — bratton · 2026-11-04
- 腾讯混元发布 Hy4,开源权重即将放出 — heatOverflower · 2026-11-04
- OpenAI 下一代模型成本惊人，网友调侃需要 800B 激活参数 — teortaxesTex · 2026-11-04
- Gemini 拒识一张纯数字截图，图像理解翻车现场 — Regular_Elk4015 · 2026-11-04
- LMArena 上线 Agent Arena，可实测对比各家 AI 智能体 — arena · 2026-11-04
- 腾讯混元 4 发布完整跑分,成绩单全览 — EmetInteractive · 2026-11-04