LangSmith 上线 Jev-as-a-judge：给每条生产 trace 打分的新评测方式
LangChain · x · 2026-09-22
LangChain 宣布 Jev-as-a-judge 正式登陆 LangSmith Evals，主打用低成本模型对开放式 Agent 行为做规模化评测。
核心卖点：
- 对每一条生产 trace 全量打分，而非抽样评估
- 单条 trace 可检查更多判据，成本不随判据数上涨
- 能及时发现安全或安全问题，快到可触发自动响应
博客回顾了 Agent 评测的演进：2023 年初以代码断言为主（快但只能覆盖可预先穷举的行为），随后 LLM-as-a-judge 补上了灵活性（能对完整 trace 做自由文本推理并按 rubric 打分），但更慢更贵、且结果非确定。Jev 作为「System One」类模型被定位为兼顾速度、成本与覆盖面的 judge，文中还给出了在 LangSmith 的 Evaluators 标签页配置在线评测的步骤。
所属事件:LangChain 推出 Jev-as-a-Judge 并上线 LangSmith(9 条相关)→
「编程与Agent」频道最新
- 开发者自制 Kimi K3.1 Pro 编码微调数据集，LFM3 版下载量意外爆棚 — alexcovo_eth · 2026-11-12
- 开发者放话：AI Agent 基础设施需要彻底重构，别套用 Kubernetes — krishnan · 2026-11-12
- SpaceX 工程师 Lauren Tan 七步法：月发 11000 个 PR、回滚率仅 0.5% — TheTuringPost · 2026-11-12
- Every agent 新功能：从 Slack 直接创建和编辑 Google 表单 — every · 2026-11-12
- Notion MCP Server 支持 CRUD 全流程,可接入 Cursor 与 Claude — modelcontextprotocol · 2026-11-12
- MuniSpot MCP 连接器覆盖 2 万多个美国市政财务数据 — modelcontextprotocol · 2026-11-12