LangChain 开源 eval-engineering skill：用真实轨迹造 agent 评测环境
BraceSproul · x · 2026-08-25
LangChain 团队（Vtrivedy、Harrison Chase、Nick Hollon）发布实践指南和更新的 eval-engineering skill，讲解如何用真实世界数据（轨迹 + 人类反馈）构建合成环境与评测，用于度量、改造 harness 和后训练 agent。
主要流程组件：
- 收集 agent 将交互系统的世界知识；
- 用 Spec 协调构建——分为 World Spec 与 Task Spec；
- 人机协作迭代编辑 Spec 并注入人类反馈（包括 coding agent 该主动请求多少人类反馈等设计决策）；
- 执行管线根据敲定的 Task Spec 生成环境与任务；
- 通过在环境中真实跑 agent、挖掘 verifier 打分与轨迹来修复任务和环境的设计缺陷。
配套 skill 一键安装：npx skills add https://github.com/langchain-ai/langchain-skills --skill eval-engineering，目前装机 1.7K。
所属事件:LangChain 开源 eval-engineering skill 合成 Agent 评估环境(4 条相关)→
「编程与Agent」频道最新
- 开发者让多个 agent 互发消息协作,还加上了消息撤回功能 — baditaflorin · 2026-10-16
- 深度复盘：Codex 如何从失败产品逆袭成吞噬 ChatGPT 的核心 — danshipper · 2026-10-16
- 开发者用 Siri 截图+快捷指令打造 iOS 全自动 agent「dots」 — nickbaumann_ · 2026-10-16
- 在 Flutter 项目里用决策模型：widget 树本就是一列选项 — rseroter · 2026-10-16
- Codex 逆袭记:一年内吞并 ChatGPT 桌面端,周活破 4000 万 — danshipper · 2026-10-16
- Photon 2.0 发布:一个 API 打通 iMessage 等六大消息渠道 — Scobleizer · 2026-10-16