开源知识图谱管线 JevGraph 实测:比 DeepSeek 快 2.9 倍,成本仅三分之一
richie9830 · reddit · 2026-09-21
作者发布了开源管线 JevGraph,用 LLM 把文档抽取成有证据支撑的知识图谱,并针对抽取成本高的问题做了基准评测。
评测设置:从 FewRel 1.0 trainwiki 冻结 160 个正例(16 种关系 × 10 例,seed 17),Jev、GPT-5.6 Luna、DeepSeek V4.1 Flash 使用完全相同的案例、选项顺序和评分方式。
结果:
- 延迟 (p95):Jev 431ms,比 DeepSeek(1242ms)快 2.9 倍,比 Luna(1699ms)快 3.9 倍
- 每 100 次决策成本:Jev 0.410¢,Luna 1.225¢,DeepSeek 1.462¢
- 准确率(未覆盖案例计为错误):Jev 87.5%,Luna 89.375%,DeepSeek 93.125%
结论并非"Jev 全胜":它在该任务上显著更快更便宜,但存在真实的准确率取舍。上游管线借鉴了 LlamaIndex 的 DocJev 工作。
「模型」频道最新
- 为什么让 LLM 回「是/否」更快:输出 token 越少越快 — tinyfool · 2026-09-21
- 曝 ChatGPT 免费用户获无限文本对话,默认模型同步升级 — nikola_mr64990 · 2026-09-21
- 用户吐槽 Astra 太贵太耗 token,盼 GPT-6 降本 — CtrlAltDwayne · 2026-09-21
- TypeSafe JEV 模型全量开放:每人 5 美元免费额度,秒级搭 3D 场景 — tinyfool · 2026-09-21
- Tom Yeh 发布 Kimi 3 研讨会录像,Nathan Lambert 做嘉宾 — ProfTomYeh · 2026-09-21
- Swift 之父 rxwei 谈 Jev:SDK 与模型协同设计解锁新范式 — rxwei · 2026-09-21