LangChain 推出 Jev 评测器：打分方差低 92-913 倍，成本仅 0.34 美元
LangChain · x · 2026-09-20
LangChain 发布文章《Jev-as-a-Judge for Agent Evals》，介绍一种新型 agent 评测器 Jev：
- 机制不同：Jev 直接返回结构化类型答案，而非像 LLM judge 那样生成文本，避开了现有 LLM judge 慢、贵、不稳定的缺陷
- 一致性大幅提升：在连续打分任务上，其质量分方差比 GPT-5.6 Luna/Terra 和 Claude Sonnet 4.6 低 92–913 倍
- 更快更便宜：平均每次调用 0.44 秒、0.00035 美元；整批测试总成本 0.34 美元，对比 Claude 的 28.17 美元
- 背景：现有 agent 评测分代码式与 LLM-as-judge 两类，前者只适用于输入固定的窄问题，后者可靠性存疑。作者称结果虽是早期窄域测试，但指出了 agent eval 的新方向
所属事件:LangChain 推出 Jev-as-a-Judge 并上线 LangSmith(9 条相关)→
「编程与Agent」频道最新
- Every agent 新功能：从 Slack 直接创建和编辑 Google 表单 — every · 2026-11-12
- Notion MCP Server 支持 CRUD 全流程,可接入 Cursor 与 Claude — modelcontextprotocol · 2026-11-12
- MuniSpot MCP 连接器覆盖 2 万多个美国市政财务数据 — modelcontextprotocol · 2026-11-12
- 2026 年每个工程师都被「晋升」成 Tech Lead:从带人变成带 Agent — rseroter · 2026-11-12
- 「Harness 定义基础设施」：agent 框架与基建正走向垂直整合 — HankYeomans · 2026-11-12
- Every 推出 Slack 内 AI 同事：Slack 里直接合并 PR、处理纠纷 — every · 2026-11-12