自托管 14B 模型审合同:准确率仅差 2 个点,成本降到 Claude 的 1/27
Broad_Breakfast_1172 · reddit · 2026-10-20
开发者用自托管开源模型搭建合同审查功能(客户数据不出本地),并与 Claude 做了系统对比,代码 MIT 开源(GitHub)。
架构
- 文档切分为约 10k-token 片段(带重叠)→ OpenAI 兼容端点按固定字段抽取 → 返回严格 JSON(答案+原文引文)
- 每条引文回原文校验(忽略大小写/空白/弯引号,"..."可跳文),查不到就不计——实测最有价值的一环
- 多片段答案合并,通过校验的优先
数据(Qwen 2.5 14B AWQ 单卡 RTX 5090 vs Claude Sonnet 5.5,律师标注测试集)
- 商业合同(CUAD,102 份)是/否风险标记:88.0% vs 90.4%,成本约 $2.30 vs $63/千份
- NDA(ContractNLI,123 份):67.1% vs 86.3%,约 $1.20 vs $15/千份;prompt 加阅读规则后提升到 71.8%
- 吞吐:单卡并发 4 份,NDA 约 3-4 秒/份
避坑经验
- 必须校验引文:14B 加指令后开始改写证据(约 150 条被拦下),小模型需明示"逐字复制";托管模型不改写
- prompt 规则是钝器:整体 +4.7 分但把一题从 81% 拖到 59%,要在 dev 集上调
- 4-bit AWQ 与全精度差 1 分内,成本约 1/3
- "OpenAI 兼容"不统一:有的拒绝 temperature=0,有的不支持 jsonobject,都要留降级
- 找条款 14B 已基本够用;解读例外条款(如"除顾问外不得披露")仍是越大越好
「编程与Agent」频道最新
- Hamel Husain 实测六款决策模型做 Evals：调阈值比选模型更关键 — Hamel Husain · 2026-10-20
- 微软 10 月 25 日起默认允许用户上传可执行操作的 Copilot 智能体 — luisdans · 2026-10-20
- Voyager发布：像Codex一样的创意工作「开放式驾驶舱」 — ravisparikh · 2026-10-20
- 开发者做 Chrome 插件改造 X 体验，首个功能是更好用的 @ — vista8 · 2026-10-20
- 用户实测 Grok Bot 代订酒店：付款前先请示，还发现重复预订 — XFreeze · 2026-10-20
- 用户怒斥 Codex 会话膨胀吃光额度，转向 Hermes-Agent 自管上下文 — alexcovo_eth · 2026-10-20