JevEval：让 Jev 决策模型当裁判的 DeepEval 评测指标
kalyan_kpl · x · 2026-10-15
JevEval 是 DeepEval 库中引入的自定义评测指标，用 Jev 决策模型作为 judge 来给 LLM 交互打分。与给一个开放式评判标准不同，它需要提供三样东西：
- Jev 允许查看的测试用例字段
- 一组针对这些字段的有界问题
- 每个问题的权重（可选）
Jev 以结构化状态接收所选字段，在单次请求中回答所有问题，并返回概率分布而非生成文本。DeepEval 再把每个答案映射为 0 到 1 的值并取加权平均。也就是说，JevEval 的最终得分是你所写有界问题答案的加权均值。
所属事件:JevEval 开源：用 Jev 决策模型当裁判的 LLM 评测新方案(2 条相关)→
「编程与Agent」频道最新
- Agent 记忆一年进化：从静态 CLAUDE.md 走到「做梦」 — mcraddock · 2026-10-15
- patio11 初试多智能体开发:明确是未来,推理量将暴涨 — IgorCarron · 2026-10-15
- AIPOCH 推出 .science 研究包,一键打包可复现科研全流程 — Med1_Ai · 2026-10-15
- shwarm.org：人类拍板、agent 干活的开源协作新概念 — allisonmaybe · 2026-10-15
- Faceplugin 开源免费人脸识别 SDK,支持本地部署全流程 — tom_doerr · 2026-10-15
- 生产级 Text-to-SQL 难题：执行成功但语义错误的 SQL 怎么救 — Fun-Following-1723 · 2026-10-15