Jev vs LLM Judge:用结构化决策替代文本生成做 Agent 评测
blaizedsouza · x · 2026-09-25
作者用一个退款客服案例讲清 Jev 与 LLM-as-Judge 两种评测路径的差异:两者都需要同样的证据(用户请求、政策、工具结果、Agent 回答),但产出方式不同。
- LLM Judge:用 prompt 描述评分标准,让模型逐 token 生成裁决、分数或解释,适合需要详细推理的场景
- Jev:返回结构化的有界决策(如三个是/否标准加一个有序有用性 rubric),一次请求完成
- 配套开源了 patchy631/jev-as-judge 仓库:重放 10 条冻结的合成客服轨迹(含编造政策、虚假操作声称、evaluator 注入攻击),先跑确定性检查再付语义评测的钱,结果记录为 Comet Opik 实验,保留原始回答、模型标识和 rubric 版本以便审计
所属事件:Jev-as-a-Judge：决策式评审大幅降低 Agent 评测成本(3 条相关)→
「编程与Agent」频道最新
- Link 上线 financial insights：让 AI agent 读取你的消费记录做个性化 — jeff_weinstein · 2026-09-25
- Agent 蜂群打崩数据库,Google Cloud 推 AlloyDB 智能体专用架构 — rseroter · 2026-09-25
- Agent 代码淹没 CI：Anthropic 六个月 CI 任务量暴涨 25 倍的应对 — JeremyCMorgan · 2026-09-25
- Perplexity Fast Search 入驻 Hermes Agent,p50 延迟 160ms 且免费 — denisyarats · 2026-09-25
- Cursor 发布 Projects:一个协调者指挥数千子智能体,重度用户 PR 合并量提升 6 倍 — gaganghotra_ · 2026-09-25
- NetworkChuck 演示 Paperclip：让任意 AI Agent 当「员工」协作干活 — AIFlow_ML · 2026-09-25