LangSmith 集成 Jev:低成本大规模 trace 挖掘,直接产出 eval
hwchase17 · x · 2026-09-22
hwchase17(LangChain 创始人)转发 LangSmith 团队推文,推广 Jev 在 LangSmith 中的集成。
核心卖点:
- 用 Jev 做大规模 trace 挖掘,成本足够低,甚至不需要子采样
- 把每条 trace 数据变成理解,再转化为 evals 和环境
- 从这些 evals 出发构建持续改进的 agents
- LangSmith Gateway 还可以尝试其他开源 Jev 变体,找到最适合自己任务的
本质上是在把「观察生产流量 → 自动生成评估 → 迭代 agent」的闭环做得更便宜更易用。
所属事件:LangSmith 上线 Jev-as-a-judge 低成本评估(2 条相关)→
「编程与Agent」频道最新
- Haiku 4.5 主动公开自身局限:缺持久记忆,作者将为其加装记忆引擎 — RileyRalmuto · 2026-09-22
- Paradigm 预告数学模型 Limite 将配 Rainfall harness 主攻多智能体求解 — tensorqt · 2026-09-22
- 开发者开源 Convoy:用 Linear 式任务面板编排 AI 编码 Agent — Budget_Map_3333 · 2026-09-22
- AAV 开源 Agent 运行时安全层:本地优先、MCP 审批与凭证隔离 — CarlosMarreroAAV · 2026-09-22
- Google Cloud 总结 agent 插件评测工程的 4 条实战经验 — rseroter · 2026-09-22
- 精选 Vol.1:AI、文化与金融领域最新优质工具与文章合集 — xkonjin · 2026-09-22