JevEval:用 Jev 做判定模型、DeepEval 算分的 LLM 评测新玩法
solyarisoftware · x · 2026-10-14
JevEval 是一个基于 DeepEval 的开源评测方案(v0.1.0,Apache-2.0),用 Jev 作为 judge 来做自定义 LLM 评测,而不是让另一个生成式 LLM 来打分。
工作方式:
- 你预先定义好精确的判定问题(支持 yes/no、打分、多选,可设权重)
- Jev 对每个判定返回概率结果
- DeepEval 用这些结果计算最终得分
与常规 LLM-as-a-judge 的区别:生成式 judge 需要自行解读 rubric、推理并生成评价;JevEval 把判定结构前置定义,语义判断由 Jev 完成,打分逻辑留在模型之外。可用于 LLM 应用、agent 和 RAG 管道,例如评估 agent 的执行轨迹——是否选对了工具、按预期顺序执行、真正完成任务。
「编程与Agent」频道最新
- Anthropic 日合并代码 4 个月增 12 倍，7 工程师携 Claude 自建源码控制系统 — bittingthembits · 2026-10-14
- 高性能代码之道：64 字节对齐的扁平结构体加连续遍历 — ryunuck · 2026-10-14
- Deck 发布：号称要取代产品经理的常驻 AI Agent — Scobleizer · 2026-10-14
- Claude 挂机一晚把马力欧奥德赛移植 macOS,动森也轻松跑起来 — dotey · 2026-10-14
- Gemini 4 Argon 上线 GitHub Copilot，编程基准全面超越前代 — 0xkarasy · 2026-10-14
- Cursor 上线 Gemini 4 Argon:CursorBench 52.8% 追平 Opus 5.5 — gaganghotra_ · 2026-10-14