LangSmith Engine v2 发布:红队测试与修复自动验证

LangChain · x · 2026-10-01

LangChain 发布 LangSmith Engine v2,新增三大能力:一是对 agent 主动红队测试,在上线前发现幻觉、违反系统提示词等经核实的问题;二是检测更难发现的问题,如低效执行路径及错误率、延迟、成本的趋势异常;三是自动测试和验证拟议的 prompt/代码修复,再交人工审查。Engine 自 5 月上线以来已分析超 7000 万条 trace、诊断数万个问题。它通过读取 trace 和代码仓库学习 agent 工作方式,自动分组相关 trace、给出根因、修复建议和评测集 ground truth 样例。